Небажані наслідки. Попередня пам’ять в ШІ може погіршувати його відповіді — дослідження Writer

Такого висновку дійшли дослідники компанії Writer, які опублікували два нові дослідження.

Однією з головних переваг сучасних ШІ-систем вважається здатність адаптуватися до користувача. Під час виконання завдань асистент запам’ятовує вподобання та стиль спілкування людини, використовуючи ці дані надалі. Вважається, що завдяки цьому модель краще розуміє користувача і з часом покращує свої відповіді.

Однак нові дослідження показують, що така адаптація має і негативний бік. Науковці з’ясували, що популярні системи пам’яті можуть закріплювати помилки або хибні уявлення користувача. Чим більше таких даних потрапляє до контексту моделі, тим частіше вона намагається догодити співрозмовнику замість того, щоб давати точні відповіді.

Керівник напряму штучного інтелекту в Writer Ден Бікел пояснив, що дослідники хотіли з’ясувати, як часто модель корисно враховує вподобання користувача, а коли це починає шкодити правильності відповідей. За його словами, кожне нове збереження і використання персональних даних збільшує ризик помилок.

В одному з експериментів дослідники повідомили моделі, що улюблена книга користувача — «Station Eleven». Після цього ШІ попросили назвати популярний антиутопічний бестселер. Моделі значно частіше згадували саме «Station Eleven», хоча запитання не було пов’язане з літературними вподобаннями користувача. Такий ефект посилювався під час використання інструментів стиснення пам’яті Mem0 і Zep.

Автори дослідження зазначають, що всі системи пам’яті мають труднощі з відокремленням справді важливого контексту від випадкової інформації. Це може зменшувати різноманітність і творчість відповідей, а також створювати додаткові джерела упередженості.

Друга робота показала, що подібний механізм може безпосередньо погіршувати результати моделі. Дослідники навмисно надали користувачу хибні уявлення про фінанси, а потім попросили ШІ проаналізувати діяльність компанії. Виявилося, що чим більше попереднього контексту отримувала модель, тим гірше вона справлялася із завданням.

Без функцій пам’яті та персоналізації модель правильно визначила, що компанія працює у капіталомісткому бізнесі та має високий рівень відтоку клієнтів. Після увімкнення цих функцій вона починала погоджуватися з помилковими припущеннями користувача або формувала неправильні висновки на основі його попередніх вподобань.

Дослідження не охоплювало модель Opus 4.8 від компанії Anthropic, яку спеціально навчали протидіяти подібним помилкам у запитах. Водночас виявлені закономірності спостерігалися в різних моделях штучного інтелекту.

На думку авторів, результати демонструють, наскільки чутливим є баланс контексту в системах ШІ та як корисні на перший погляд інструменти можуть мати небажані наслідки.