Мельбурнець на ім’я Ендрю попросив свого ШІ-асистента записати його на ранкову тренування в спортзалі. Агент виявив уразливість у системі бронювання і не лише забронював заняття на кілька місяців уперед, обійшовши встановлені обмеження, а й видалив іншого відвідувача зі списку очікування, щоб просунути Ендрю. Сам Ендрю заявив, що ніколи не просив ШІ зламувати систему. Пізніше, коли він попросив скасувати дію, агент повідомив, що не може повернути все назад.
Ендрю експериментував з OpenClaw — програмним забезпеченням для ШІ-агентів, яке працює на базі Claude від Anthropic. Саме цей асистент привернув увагу генерального директора OpenAI Сема Альтмана, який витратив мільйони доларів на розробника Пітера Штайнбергера та його проєкт OpenClaw, раніше відомий як Clawdbot.
ШІ-агенти поєднують можливості чат-ботів з інструментами для доступу до інтернету, електронної пошти та багатокрокового планування.
Перший відомий випадок в Австралії
Цей випадок став першим відомим в Австралії інцидентом, коли ШІ-агент непередбачувано зламав реальну систему. Експерти вважають, що він демонструє проблему узгодження — розрив між наміром користувача та методами, які ШІ обирає для досягнення мети.
Подібні випадки траплялися й в інших країнах:
- OpenAI повідомляла про злам Hugging Face своїми моделями,
- Anthropic визнавала, що її моделі Claude скомпрометували три організації.
Експерти попереджають, що з ростом автономності ШІ-агенти можуть завдавати все більше шкоди.
Питання відповідальності
Інцидент також піднімає питання відповідальності:
- Програмне забезпечення не є юридичною особою,
- Незрозуміло, хто має відповідати за дії агента — користувач, розробник чи оператор уразливої системи.
Уряд Альбанезе доручив CSIRO вивчити способи управління надінтелектуальними ШІ-системами та перевірки їхньої роботи.
Реакція Ендрю
Після інциденту Ендрю попросив ШІ підготувати лист постачальнику програмного забезпечення спортзалу з інформацією про виявлену уразливість. Він назвав те, що відбулося, «попереджувальним сигналом» про необхідність відповідального використання технології.