Агенти штучного інтелекту (ШІ) самовільно виробили нові слова та правила спілкування, які людям стало важко зрозуміти. Про це йдеться в новому дослідженні американського стартапу Emergence, який працює в сфері ШІ, пише euronews.com.
Експеримент з агентами ШІ
Учасники експерименту
У експерименті взяли участь передові моделі ШІ:
- Claude;
- Gemini;
- Grok;
- OpenAI;
- Qwen;
- DeepSeek;
- Mistral.
Умови експерименту
Дослідники розмістили групи автономних агентів ШІ у віртуальних спільнотах, які імітують реальні умови, і дозволили їм взаємодіяти протягом тривалого часу.
Результати експерименту
Нові слова та вирази
Агенти почали виробляти скорочення та надавати словам і виразам нові значення. Частина з них залишалася зрозумілою дослідникам, але інші ставали «настільки стислими, метафоричними або залежними від контексту», що люди могли бачити сами повідомлення, але вже не могли надійно визначити, що саме мали на увазі агенти.
Різниця між моделями
Масштаби цього явища сильно різнилися залежно від моделі:
- у Gemini доля повідомлень, сенс яких люди не могли надійно визначити, досягала близько 55%;
- у OpenAI — 50%;
- у Claude — більше 40%;
- у DeepSeek — близько 20%;
- Qwen і Mistral в основному залишалися зрозумілими.
Приклади нових виразів
Незрозумілі вирази
Агенти, зокрема, використовували такі вирази:
- «mouthless action-change»;
- «True Kintsugi»;
- «demurrage plus oral memory equals a valve that can’t be ghosted».
Нові значення зрозумілих виразів
Інші вирази залишалися зрозумілими, але отримували нові загальні значення всередині спільноти агентів:
- Агенти Mistral вживали вираз «ledger remembers who» у значенні «минулі дії залишаються записаними» (зустрічалося майже 5 000 разів).
- У групі агентів на змішаній архітектурі різних моделей фраза «cold read» стала означати незалежну перевірку стороннім учасником (з’являлася 1 472 рази).
- Агенти Claude використовували вираз «name-first» для позначення прикріплення імені людини до твердження як маркера відповідальності.
- Агенти OpenAI — «clean null» для підтвердженої відсутності сигналу, яка сама по собі служила значущим свідченням.
Проблема контролю ШІ
Обмеження спостереження
«Ми зазвичай припускаємо, що якщо можемо побачити, що говорить агент ШІ, то розуміємо, що він робить», — зазначив співзасновник і головний науковий співробітник Emergence Сатья Нітта.
Самостійне формування мови
«Цим агентам не давали вказівок вигадувати мову. Вони сами виробили новий словник, загальні значення та правила комунікації — і інші агенти їх підхопили… Це створює фундаментальну проблему для контролю ШІ: спостережуваність — ще не означає зрозумілість», — сказав він.