Дослідники Массачусетського технологічного інституту з’ясували, що оброблені ШІ зображення і відео здатні навіювати людям хибні спогади, причому людина буде впевнена в їхній справжності сильніше, ніж у реальних подіях.
Джерело
Про це пише видання Gizmodo з посиланням на дослідження під керівництвом професора MIT Патті Маес.
Експеримент
В експерименті взяли участь 200 людей.
Методологія
- Спочатку їм показали серію оригінальних фотографій;
- потім частина учасників повторно побачила ті самі знімки;
- а інша частина — версії, змінені нейромережею, повідомляє rtvi.com.
Тест на пам’ять
У ході подальшого тесту на пам’ять ті, хто дивився відредаговані зображення:
- не тільки частіше помилялися при згадуванні оригіналу;
- а й демонстрували надмірну впевненість у своїх хибних спогадах.
Дані MIT Media Lab
Згідно з даними MIT Media Lab, ефект виявився вимірюваним:
- в умовах, де учасникам показували згенероване ШІ відео на основі відредагованих фотографій, частота хибних спогадів перевищувала контрольну групу в 2,05 раза;
- впевненість у цих вигаданих деталях була вища за контрольний показник у 1,19 раза.
Проблема не нова, але змінилася
- Людська пам’ять спочатку ненадійна і легко піддається навіюванню — це відомо з XIX століття;
- однак саме генеративний ШІ робить проблему якісно іншою.
Цитата Gizmodo
Як відзначає Gizmodo, «ШІ-контент стає лише переконливішим і дуже поширений у мережі, і він прискорює нову хвилю шахрайства і дезінформації».
Галюцинації ШІ
Небезпека не обмежується злим наміром.
Суть
Генеративні моделі схильні до «галюцинацій» — помилок у виведенні.
Людина в контурі
Оскільки держструктури, банки, військові та лікарні прискорюють впровадження ШІ, дедалі частіше звучить теза про необхідність «людини в контурі» — фахівця, який перевіряє результат роботи системи.
Чому нагляд не працює
Передбачається, що такий нагляд дозволить відловлювати помилки до того, як вони призведуть до реальної шкоди.
Проблема
Однак дослідження показують, що:
- люди погано розпізнають галюцинації ШІ;
- більше того, якщо пам’ять людини вже спотворена хибним висновком системи, вона перестає бути незалежним перевіряючим.
«Підкидання монети»
Здатність середнього користувача відрізнити ШІ-контент від реального, за даними Gizmodo, «практично дорівнює підкиданню монети».
Політичні наслідки
Проблема виходить за межі лабораторій.
Дослідження минулого року
У торішньому дослідженні:
- дипфейки і згенеровані тексти успішно імплантували хибні спогади про повністю вигадані політичні скандали;
- знижуючи готовність людей голосувати.
Експеримент з допитом
В іншому експерименті MIT, що імітував допит свідка:
- генеративний чат-бот спровокував більш ніж трикратне зростання хибних спогадів порівняно з контрольною групою;
- при цьому 36,4 % відповідей учасників змінилися під його впливом прямо в ході самого діалогу.
Дослідження ДТП
Окреме дослідження Джорджтаунського університету та Університету Вашингтона показало:
- якщо учасникам, які подивилися відео з ДТП, давали прочитати точний опис, 83,6 % правильно згадували деталь про дорожній знак;
- серед тих, хто читав опис із помилкою, згенерований ШІ, правильну відповідь дали лише 44,8 %.
Застереження не допомагає
Попередження про те, що текст створений нейромережею, помилки не усувало.
Розрив між наукою та індустрією
- Поки експерти шукають способи навчання людей розпізнаванню дипфейків, індустрія ШІ рухається до систем, які повинні працювати повністю автономно, без участі людини.
Трагічні наслідки
Цей розрив уже привів до трагічних наслідків:
Розслідування Пентагону
Внутрішнє розслідування Пентагону, про якому повідомляв Bloomberg, прийшло до висновку, що удар США по іранській школі, який убив понад 150 людей, був частково зумовлений надмірною довірою до даних ШІ від Palantir.