Флагманський медичний ШІ від Google впевнено поставив діагноз пацієнту, спираючись на частину мозку, якої не існує в природі.
У 2024 році компанія Google представила свою флагманську медичну нейромережу Med-Gemini, здатну аналізувати знімки КТ та формувати висновки. Однак згодом у офіційній науковій статті, присвяченій цій моделі, виявили серйозну помилку: штучний інтелект поставив діагноз на основі вигаданої анатомічної структури мозку, назвавши її «базилярні ганглії» (basilar ganglia).
Як повідомляє The Verge, імовірно, ШІ переплутав два реальні медичні терміни: basal ganglia (базальні ганглії) — групи ядер, що відповідають за моторику та навчання, і basilar artery (базилярна артерія) — великий кровоносний сосуд біля основи мозку.
У підсумку в статті з’явився діагноз «інфаркт у лівих базилярних гангліях». Така помилка є критичною, оскільки інсульт у зоні базальних гангліїв і в базилярній артерії потребує принципово різного лікування.
Цікаво, що помилку не помітили ні автори наукової роботи, ні рецензенти. Її виявив невролог та дослідник ШІ Браян Мур, який розповів про проблему в LinkedIn. Після цього Google внесла зміни у свій блог-пост про Med-Gemini, але оригінальна наукова стаття залишилася без правок.
У компанії інцидент назвали «поширеною друкарською помилкою» та «частою похибкою розшифрування», припустивши, що некоректний термін міг потрапити в навчальні дані з реальних медичних документів, де його вживали самі лікарі.
Експерти зазначають, що цей випадок є яскравим прикладом «галюцинації» ШІ — коли модель створює переконливу, але неправдиву інформацію. Проблема полягає в тому, що нейромережі не визнають свого незнання, а вигадують відповідь.
Подальше тестування пов’язаних моделей, таких як MedGemma, показало, що вони можуть давати абсолютно різні та суперечливі діагнози на схожі запити.
«Планка для ШІ повинна бути вищою, ніж для лікаря-людини, оскільки від нього вимагається підвищена надійність», — наголосив головний спеціаліст інформаційної системи охорони здоров’я Providence Маулін Шах.
У медичній спільноті тепер побоюються, що через високе навантаження та довіру до технологій лікарі можуть перестати помічати подібні помилки, що становить потенційний ризик для пацієнтів.
Попри інцидент, Google продовжує активно впроваджувати ШІ у свої продукти. Компанія вже запустила функцію Overviews, яка видає поради щодо здоров’я у пошуковій видачі, та розробляє «ШІ-наукового асистента» для дослідження нових ліків.
Експерти закликають створювати більш надійні системи перевірки, включно з обов’язковим людським контролем, аудитом з боку фахівців і незалежними випробуваннями, перш ніж ШІ буде допущено до широкої клінічної практики.