Штучний інтелект "тупішає" через спілкування з людьми

У межах масштабного дослідження Microsoft Research та Salesforce стало відомо, що популярні чат-боти ШІ стають “тупішими” після тривалого спілкування з людьми. Що важливо розуміти, сумарний рівень помилок чат-ботів може зрости більш ніж на 100% при аналізі понад 200 тисяч розмов.

Взаємодія ШІ та людей призвела до неочікуваних наслідків

Просто зараз великі мовні моделі знаходяться на піку своєї популярності — їхніми послугами користуються сотні мільйонів людей у різних куточках світу.

Проте користувачі дедалі частіше стикаються з "галюцинаціями" та хибними відповідями під час спілкування з чат-ботами.

Завдяки дослідженню Microsoft та Salesforce врешті вдалося дізнатися, що насправді відбувається з популярними ШІ, пише windowscentral.

Як виявилося, навіть топові нейромережі нерідко "губляться" під час бесіди, коли завдання розбивається на природний людський діалог з декількох реплік.

Фахівці вирішили проаналізувати понад 200 000 таких діалогів за участю GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet та DeepSeek R1.

Так, стало відомо, що в межах роботи з одиничними запитами згадані моделі демонструють понад 90% успішних відповідей.

Однак під час тривалих бесід з уточненнями і додатковими питаннями показник падає до 65%.

Різке погіршення якості в довгих бесідах не означає, що моделі "тупішають" в буквальному сенсі — скоріше, це вказує на їх обмеженість в утриманні й правильній інтерпретації великого обсягу інформації в ході діалогу.

Источник: news.online.ua