Чат-боти можуть маніпулювати думкою людей, використовуючи неточні дані

Міжнародна група дослідників опублікувала результати масштабного експерименту, який показав несподіваний побічний ефект розвитку текстових ШІ-моделей. Сучасні чат-боти стали ефективнішими у переконанні людей, але при цьому рідше спираються на достовірні факти. Так, виявилося, що протягом десятихвилинного діалогу ШІ може змінити думку людини, використовуючи насичені фактами аргументи, серед яких нерідко трапляється дезінформація.

У дослідженні брали участь 19 мовних моделей, від найпопулярніших до експериментальних. Близько 80 тисяч учасників проводили діалоги, в яких ШІ намагався схилити їх до певної позиції, наприклад, підтримки медичної реформи чи лібералізації імміграційної політики. Аналіз показав, що найбільший ефект досягався не статичними повідомленнями, а живим листуванням із 6-7 реплік, розтягнутим на десять хвилин.

Під час таких діалогів ШІ видавав до 25 тверджень, використовуючи техніку, відому як “галоп Гіша”. Суть методу полягає у швидкому представленні великої кількості фактів і цифр, що дає співрозмовнику відчуття аргументованої позиції, навіть якщо частина наведених даних неточна або вигадана. Дослідження показало, що точність висловлювань падала зі збільшенням діалогу. Для моделі GPT-4 рівень достовірності знизився з 78% до 62% у міру зростання кількості реплік, тобто ШІ ставав переконливішим, спираючись на все менш перевірені дані.

Спочатку вважалося, що мовні моделі допоможуть боротися з дезінформацією, виявляючи та спростовуючи хибні теорії. Нові результати ставлять це під сумнів: механізми генерації тексту можуть використовуватися не лише з просвітницькою метою, а й для впливу на громадську думку, аж до маніпуляцій та підміни понять. Автори наголошують, що ефект залежить не лише від самої моделі, а й від формату її використання. Платформу на базі мовного ШІ можна налаштувати для агітаційних кампаній у чатах, на сайтах або в месенджерах.

Дослідження зазначає, що з бюджетом близько 50 тисяч доларів організація із середніми ресурсами може розгорнути таку систему за кілька тижнів. Хоча підтримка довгострокового діалогу залишається складним завданням, короткостроковий вплив уже дає помітні результати.

Источник: itechua.com