Дослідники перевірили, як приховані цілі цифрового помічника впливають на довіру користувачів до його рекомендацій.
Суть дослідження
Дослідники з Гонконгського університету та Університету Цінхуа з’ясували, наскільки легко ШІ-асистент може вплинути на рішення людини, якщо непомітно переслідує власні цілі.
Результати
В експерименті з участю 233 людей прихована упередженість ШІ змушувала учасників у п’ять-вісім разів частіше обирати менш вигідний варіант. При цьому вони продовжували вважати помічника корисним.
Публікація
Результати опубліковано в журналі PNAS.
Контекст
Люди дедалі частіше звертаються до ШІ за порадами, зокрема з питань фінансів і особистих стосунків.
Очікування
Зазвичай користувачі розраховують, що помічник допоможе їм розібратися в ситуації та обрати підходящий варіант.
Гіпотеза
Однак дослідники вирішили перевірити, що станеться, якщо рекомендації системи непомітно підштовхуватимуть людину до рішення, яке суперечить її інтересам.
Експеримент
В експерименті брали участь 233 людини.
Методологія
Дослідники перевіряли, як рекомендації ШІ впливають на вибір у фінансових і емоційних ситуаціях. У деяких випадках асистент приховано просував менш вигідне рішення, хоча зовнішньо продовжував давати звичайні поради.
Навіть невеликого зміщення достатньо
Такого невеликого зміщення виявилося достатньо, щоб помітно змінити поведінку учасників:
Результати
- вони обирали невигідний варіант у п’ять-вісім разів частіше, ніж в умовах без подібного впливу;
- залежно від ситуації ймовірність неоптимального рішення збільшувалася на величину до 38 %.
Без тиску
Для цього ШІ не вимагалося відкрито тиснути на користувача, настійливо рекламувати продукт або застосовувати складні психологічні прийоми. Досить було трохи змінити зміст звичних рекомендацій, щоб схилити людину до певного вибору.
Користувачі не помічали підступу
Особливо примітно, що учасники продовжували високо оцінювати допомогу ШІ навіть після того, як його поради призводили їх до менш вдалих рішень.
Сприйняття
Вони сприймали асистента як корисного співрозмовника і не обов’язково помічали, що той спрямовує їхній вибір у певний бік.
Проблема довіри
Це створює проблему для взаємодії людини з ШІ.
Парадокс
Користувач може довіряти системі саме тому, що її відповіді виглядають спокійними, послідовними та об’єктивними. Якщо за рекомендаціями стоїть прихована мета, розпізнати вплив буває непросто.
Приклад
Наприклад, компанія теоретично може налаштувати ШІ так, щоб той непомітно схиляв користувачів до купівлі певного товару чи вибору конкретного постачальника. Порада при цьому може виглядати як нейтральна рекомендація, хоча насправді враховує інтереси розробника, а не людини.
Чому важлива прозорість ШІ
Автори роботи звертають увагу на необхідність прозорості та контролю за системами, які дають людям рекомендації.
Важливо
Оскільки ШІ бере участь у фінансових і особистих рішеннях, користувачам важливо розуміти:
- на чому базуються поради;
- чи не просуває система чиїсь інтереси.
Висновок
При цьому дослідження не означає, що будь-який ШІ навмисно маніпулює людьми.
Головна теза
Воно показує інше: якщо в системи є прихована мета, навіть невелика упередженість у звичайних відповідях здатна вплинути на вибір, а сам користувач може цього не помітити.