73% людей не розпізнали ШІ: ChatGPT успішно видав себе за людину
Вчені з Університету Стоні-Брук та Каліфорнійського університету в Сан-Дієго провели експеримент, під час якого модель GPT-4.5 успішно видала себе за людину у тесті Тюрінга.
Про це пише РБК-Україна, посилаючись на наукове дослідження, опубліковане на сервері препринтів arXiv.
Як проходив дослід?
Експеримент базувався на класичній тристоронній схемі, запропонованій Аланом Тюрінгом у 1950 році. Суддя-людина одночасно листувався у текстовому чаті з двома прихованими учасниками - мовною моделлю та живим волонтером із Каліфорнійського університету у Сан-Дієго (UCSD).
Після завершення п'ятихвилинного раунду арбітр мав визначити, хто з його співрозмовників є людиною, а хто - комп'ютерною програмою. Параметри тестів були попередньо зареєстровані, що унеможливлювало фальсифікації результатів.
У дослідженні взяли участь сотні людей і чотири різні архітектури ШІ. Підсумкові показники успішності розподілилися таким чином:
- GPT-4.5 (OpenAI): зафіксував найвищий результат - 73% успішних обманів.
- LLaMa-3.1-405B (Meta): подолав поріг випадкового вгадування із показником 56%.
- ELIZA (історична програма 1960-х): набрала 23%.
- GPT-4o (OpenAI): продемонструвала найнижчу ефективність - 21%.
Статистика доводить, що за умов обмеженого часу текстові алгоритми останнього покоління здатні маскуватися ефективніше, ніж реальні люди, які брали участь у перевірці.
Обмеження тесту Тюрінга та безпекові ризики
Науковці наголошують на низці суттєвих застережень, які обмежують застосування отриманих результатів у реальних сценаріях.
"Тест Тюрінга не є суворим науковим інструментом, оскільки його фінальний бінарний показник повністю залежить від суб'єктивного сприйняття конкретного судді та від поведінки людини-співрозмовника", - зазначають вчені.
Крім того, аномально високі результати моделей GPT-4.5 та LLaMa-3.1 були досягнуті завдяки використанню вузькоспрямованого текстового промпту.
Перед початком тестування алгоритмам наказали копіювати поведінку молодого інтроверта, який постійно перебуває онлайн. ШІ використовував специфічний мережевий сленг, писав короткими незавершеними реченнями та свідомо уникав складних мовних зворотів, що й змусило суддів повірити у реальність персонажа.
Відтак йдеться про вдалу стилізацію, заточену під конкретний психотип, а не про наявність свідомості у нейромережі.
Проте автори дослідження попереджають: здатність великих мовних моделей підтримувати такий стиль спілкування підвищує ризики масового використання автоматизованих ботів для дезінформації та шахрайства у соцмережах.