Коли ШІ діє не так, як очікувала людина, мозок миттєво реагує на цю помилку, а система зчитує виникаючий сигнал і розуміє, що пішло не так.
ШІ може зрозуміти, що людина незадоволена його рішенням, ще до того, як вона щось скаже. Дослідники KAIST і Microsoft Research Asia розробили систему Neural Value Alignment (NVA), яка за електроенцефалограмою (ЕЕГ) визначає, яку саме помилку припустився штучний інтелект. Результати роботи опубліковані в журналі IEEE Transactions on Cybernetics.
Як ШІ вчиться розрізняти помилки
Традиційний підхід
Зазвичай ШІ намагається зрозуміти наміри людини за її словами, діями або жестами. Але така поведінка не завжди однозначна. Наприклад, людина бере келих: вона може збиратися випити воду, а може передати келих іншій людині. I навпаки, одну й ту ж мету можна досягти різними способами.
Новий підхід: сигнали мозку
Дослідники вирішили використовувати не лише зовнішню поведінку, а й реакцію мозку. Коли людина бачить дію ШІ, яка не відповідає її очікуванням, у мозку виникає сигнал помилки передбачення.
Типи сигналів помилок
Помилка передбачення винагороди (RPE)
Команда виділила два типи сигналів:
1. Помилка передбачення винагороди (RPE) — вказує на те, що ШІ, ймовірно, неправильно зрозумів саму мету.
Помилка передбачення стану (SPE)
2. Помилка передбачення стану (SPE) — свідчить про іншу проблему: мета обрана правильно, але ШІ пішов до неї непідходящим способом.
Експерименти з ЕЕГ
Спостереження за діями ШІ
Для експериментів учасники спостерігали за діями ШІ, поки дослідники в реальному часі записували їх ЕЕГ. Аналіз показав, що при двох типах помилок виникають різні особливості мозкової активності.
Комбінований сигнал
Окремий характерний сигнал з’являвся і тоді, коли ШІ одночасно помилявся і в меті, і в спосіб її досягнення.
Застосування глибинного навчання
Розпізнавання сигналів
Потім вчені застосували глибинне навчання, щоб розпізнавати ці сигнали. Отримана система могла визначити, як людина сприймає дію ШІ, навіть якщо вона нічого не говорила і не давала додаткових команд.
Інтеграція з алгоритмом NVA
Корекція дій ШІ
Дослідники підключили розшифрований сигнал до алгоритму NVA:
- Якщо система виявляла SPE, ШІ розумів, що мета вірна, але спосіб дії потрібно змінити.
- При RPE він, навпаки, мав переглянути саму мету і заново визначити, чого хоче людина.
Переваги системи NVA
Швидке пристосування
Дослідники також провели комп’ютерне моделювання, в якому порівнювали підхід NVA з системами, які використовують лише один тип мозкового сигналу або орієнтуються виключно на спостережувану поведінку.
Ефективність
Спільне використання RPE і SPE допомагало системі швидше підлаштовуватися під людину. Перевага зберігалася навіть при неповній або неточній розшифровці мозкових сигналів. Особливо це проявлялося в ситуаціях, коли людина несподівано змінювала свою мету.
Коментар керівника дослідження
Сан Ван Лі
«Це дослідження показує, що штучний інтелект може вийти за межі визначення намірів людини лише за спостережуваними результатами її дій і безпосередньо використовувати когнітивні сигнали мозку під час співпраці з людиною», — зазначив керівник роботи, професор KAIST Сан Ван Лі.
Обмеження системи NVA
Не читання думок
При цьому NVA поки не можна назвати повноцінним читанням думок. Система не розшифровує зміст будь-яких думок людини, а визначає конкретні типи реакції мозку на дії ШІ.
Можливі застосування
Сфери застосування
Автори вважають, що такий підхід може стати в нагоді там, де людині доводиться постійно контролювати машину. Серед можливих застосувань вони називають:
- роботів;
- автономне водіння;
- медичні системи;
- персоналізоване навчання;
- інші технології, в яких ШІ має підлаштовуватися під людину без постійних голосових команд.