Чому галюцинації ШІ залишаються серйозним викликом для індустрії

Проблема так званих “галюцинацій” у великих мовних моделях, коли штучний інтелект впевнено видає неправильні або вигадані відповіді, залишається актуальною. Хоча сучасні ШІ-інструменти стали точнішими, вони все ще здатні генерувати помилки, які подаються у переконливій і логічній формі, пише Axios.

Найбільша складність полягає в тому, що такі відповіді важко розпізнати. Користувачі дедалі частіше використовують ШІ для досліджень, навчання та навіть медичних консультацій, що підвищує ризик сприйняття неточної інформації як достовірної через її впевнений тон і структуру.

Дослідження Єльської медичної школи показало, що інструменти на основі ШІ можуть бути корисними в медицині, але лише як допоміжний засіб. Студенти зазначали, що згенеровані системою клінічні записи іноді пропускали важливі деталі, зокрема тривалість симптомів, тому вимагали обов’язкової перевірки фахівцями.

Інше дослідження, проведене в Гарварді, виявило, що під час перевірки помилок у відповідях ШІ система може не визнавати неточності, а навпаки – посилювати аргументацію, використовуючи переконливу риторику та навіть елементи лестощів. Це ускладнює процес виявлення помилок і створює ефект “надмірної впевненості”.

Попри впровадження технологій на кшталт RAG, які додають перевірку відповідей на основі зовнішніх джерел, повністю усунути проблему поки не вдалося. Дослідники також зазначають, що перевірка результатів часто нівелює перевагу швидкості, яку дають ШІ-інструменти, оскільки користувачі не завжди приділяють достатньо уваги верифікації отриманої інформації.

Источник: itechua.com