У сфері впровадження генеративного штучного інтелекту намітилися важливі структурні зміни, які змушують клієнтів переглядати підхід до фінансування цього процесу. Агентські рішення призводять до зростання витрат корпорацій, і тепер вони почали більш обдумано оплачувати впровадження ШІ, повідомляє Financial Times.
Чому зросли витрати на ШІ?
Політика розробників ШІ, таких як OpenAI та Anthropic, сприяла цьому перелому. Після аналізу власних витрат вони зрозуміли, що субсидують багатьох клієнтів, надаючи їм майже необмежений доступ до обчислювальних ресурсів у рамках підписки. Багато клієнтів споживають стільки токенів, що витрати не покриваються абонентською платою.
Перехід на пропорційну оплату споживаних обчислювальних ресурсів шокував багатьох клієнтів. Наприклад, невелика компанія-розробник ПЗ Workato після переходу на таку оплату зіткнулася зі зростанням витрат у сім разів вже в перший день. Керівництво компанії двічі на тиждень аналізує можливості економії на використанні ШІ.
Як компанії економлять на ШІ?
Клієнти систем ШІ обмежують використання сторонніх інструментів, за які доводиться платити, та шукають дешевші альтернативи. Серед них:
- Моделі ШІ з відкритим вихідним кодом, які розгортаються на власній інфраструктурі,
- Більш доступні системи китайських розробників, які можуть бути дешевшими через нижчі тарифи на електроенергію в КНР.
З початку цього року китайські моделі ШІ обійшли американські за обсягом споживання токенів.
Обмеження витрат на ШІ
Деякі компанії ввели ліміти витрат на використання стороннього ШІ своїми співробітниками. Наприклад, у Uber ця сума обмежена $1500 на одного співробітника на місяць.
Витрати зросли у міру переходу користувачів від простої взаємодії з чат-ботами до використання багатьох ШІ-агентів. На одного співробітника в організації може припадати від 10 до 10 000 агентів, і всі вони безперервно споживають токени, за які доводиться платити.
Аналітики Goldman Sachs очікують, що до 2030 року споживання токенів ШІ зросте в 24 рази, і це посилить дефіцит чіпів у найближчі півтора року.
Як великі компанії оптимізують витрати?
Навіть компанії з власною обчислювальною інфраструктурою, такі як Amazon (AWS), почали стежити за ефективністю використання ресурсів.
- Amazon почав боротися з фіктивною демонстрацією активності ШІ деякими співробітниками, які прагнули показати керівництву лояльність ідеї повного занурення в таку діяльність.
- Meta пішла за прикладом конкурента у квітні цього року.
Водночас навіть Amazon і Meta залежать від сторонніх провайдерів, таких як Anthropic, за послуги яких доводиться платити за комерційними ставками.
Нові послуги для оптимізації витрат
Microsoft почала пропонувати клієнтам, які прагнуть оптимізувати витрати на ШІ, нову послугу, яка дозволяє оптимально вибирати використовувані засоби. Якщо для вирішення завдання досить обмежитися дешевшою моделлю, то вона і застосовується, а не надсилається за найдорожчим маршрутом.
Іноді компанії вручну маршрутизують запити, віддаючи перевагу старішим і дешевшим моделям ШІ, не прагнучи за найсучаснішими. Проте всередині компаній завжди знаходяться користувачі, яким бракує обчислювальних ресурсів для вирішення своїх завдань.
Проблеми з виправданням витрат
Публічним компаніям стає складніше виправдовувати зростаючі витрати на ШІ перед акціонерами та інвесторами.