Вчені з Університетського коледжу Корка (Ірландія) у систематичному дослідженні показали, що тексти, створені штучним інтелектом, і досі помітно відрізняються за стилем від людської прози. Навіть найсучасніші мовні моделі зберігають упізнаваний стилістичний «відбиток».
Робота присвячена питанню, чи можуть великі мовні моделі — такі як ChatGPT — писати художні тексти, не відрізнити від творів людей.
Дослідження, опубліковане в журналі Humanities and Social Sciences Communications, стало першим, у якому для порівняння текстів людей і ШІ застосували літературну стилометрію — набір обчислювальних методів, що традиційно використовуються для встановлення авторства та аналізу індивідуального стилю письменників.
Автори проаналізували сотні коротких оповідань, написаних людьми, та зіставили їх із текстами, згенерованими моделями GPT-3.5, GPT-4 і Llama 70B. Аналіз враховував тонкі лінгвістичні маркери, зокрема частотність слів і ритміку тексту.
Одноманітність текстів ШІ
Результати показали, що, попри плавність і зовнішню відшліфованість, тексти ШІ формують вузькі й однорідні стилістичні «кластери», характерні для конкретної моделі. Людська проза, навпаки, вирізняється значно більшою різноманітністю, відображаючи особистий досвід, авторський голос і творчі наміри.
GPT-4 продемонструвала більшу стилістичну стабільність, ніж GPT-3.5, однак обидві моделі залишаються легко відмінними від людського письма. В усіх методах аналізу зберігалася одна й та сама закономірність: ШІ пише передбачувано, люди — індивідуально.
«ШІ схильний до одноманітного вибору слів і ритму, тоді як людське письмо відображає звички, уподобання та особисту історію автора», — зазначає керівник дослідження Джеймс О’Салліван зі Школи англійської мови та цифрових гуманітарних наук.
Автори доходять висновку, що навіть найпросунутіші мовні моделі поки не здатні органічно злитися з людською літературою. Робота порушує важливі етичні та філософські питання про автентичність, оригінальність і природу авторства в епоху стрімкого розвитку генеративного ШІ.