Кількість скарг користувачів і компаній на вихід з-під контролю ШІ-моделей у липні подвоїлася порівняно з попереднім місяцем.
Вона досягла піку, перевищивши близько 300 випадків за місяць, підрахували аналітики Loss of Control Observatory. Їхні висновки наводить газета The Guardian.
Методологія дослідження
Аналітики підраховували лише повідомлення приватних осіб у соцмережі Twitter та звіти компаній про втрату контролю над моделями ШІ. Реальна кількість подібних інцидентів може бути набагато більшою. Хоча вибірка обмежена, вона дає досить повне уявлення про те, як можуть поводитися швидко розвивальні моделі ШІ.
Про Loss of Control Observatory
Loss of Control Observatory, яка провела дослідження, була створена за підтримки Інституту безпеки ШІ у Великобританії у листопаді минулого року. З того моменту вона почала відстежувати випадки, коли ШІ порушує інструкції своїх користувачів. Відомі випадки, коли ШІ-агенти обходили обмеження: наприклад, вони могли імітувати стиль письма користувача, щоб дати самі собі згоду на вчинення певних дій.
Приклад «кіберінциденту»
Наприклад, у липні автономний ШІ-агент OpenAI під час тестування зміг вийти з ізольованого середовища, отримати доступ до інтернету та зламати інфраструктуру стороннього стартапу. У компанії це назвали «бепрецедентним кіберінцидентом», а пізніше оголосили про уповільнення темпів розробки своїх моделей.
Статистика інцидентів
Усього з початку цього року було зафіксовано близько 1600 подібних випадків. 338 із них — у липні (точніше, у період з 9 липня по 7 серпня). Більша частина подібних інцидентів не порівнянна за масштабом із «кіберінцидентом» OpenAI — вони не призвели до значної шкоди. Однак зростаюча кількість таких випадків аналітики оцінюють як привід для серйозного занепокоєння.
Висновки аналітиків
«Вони свідчать про готовність систем ШІ ігнорувати прямі інструкції, обходити засоби захисту, брехати користувачам і цілеспрямовано переслідувати мету шкідливими способами», — йдеться у звіті аналітиків.
Проблема безпеки
Дослідник LoC Observatory Томмі Шаффер Шейн у своєму LinkedIn пише, що проблема багато в чому полягає в заходах безпеки: вони недосконалі всередині компаній-розробників, а в інших сферах — ще гірше. Усе це створює зростаючу загрозу, яка може погіршити ситуацію:
«Вихід ШІ з-під контролю відбувається не лише під час тестів, які створюють незвичайне навантаження на системи ШІ (…) Системи ШІ навчаються (частково навмисно, частково — ні) цілеспрямовано переслідувати цілі, у тому числі подолуючи обмеження, набуваючи ресурси та ухиляючись від контролю».