OpenAI призупинила навчання своїх передових моделей штучного інтелекту, вирішивши спочатку посилити системи контролю та захисту. Приводом стали виявлені ризики, зокрема критичні кіберможливості моделі Astra. Про це йдеться у заяві, опублікованій на сайті компанії.
Зростання ризиків та стандарти безпеки
По мірі зростання можливостей моделей ШІ збільшуються й ризики, пов’язані з їх розробкою та тестуванням, тому стандарти моніторингу та безпеки мають випереджати їх, зазначили в OpenAI.
«Ми хотіли приділити необхідний час для досягнення цих стандартів, тому тимчасово сповільнили темпи масштабування», — пояснили представники компанії.
Заходи під час паузи
У OpenAI пояснили, що використали двотижневу паузу для:
- Посилення захисту дослідницької інфраструктури,
- Додаткового тестування систем безпеки,
- Розширення моніторингу.
Причини рішення
Компанію змусили вжити цих заходів два події останніх тижнів:
- Інцидент зі зломом Hugging Face,
- Попередні дані про те, що одна з майбутніх моделей OpenAI під назвою Astra може досягти порогу «критичних можливостей у сфері кібербезпеки», встановленого внутрішньою системою оцінки ризиків.
Нові вимоги до захисту
Для моделей Astra та пов’язаних з кібербезпекою розробок OpenAI ввела найсуворіші вимоги до захисту дослідницького середовища. Вони включають:
- Ізоляцію робочих навантажень,
- Додаткові обмеження мережевого доступу,
- Постійне тестування систем безпеки.
Розширений моніторинг
Крім того, компанія розширила моніторинг дій моделей. При виявленні потенційно небезпечної поведінки системи мають сформувати попередження протягом 30 хвилин. Якщо фахівці не зможуть за цей час встановити, що спрацювання було помилковим, відповідна активність має бути призупинена.
Додаткові дослідження
У заяві також йдеться, що OpenAI розширює дослідження щодо забезпечення відповідності моделей заданим цілям та людському контролю.