Хакери навчилися переписувати пам’ять ШІ-помічників через шкідливі листи

Одного електронного листа виявилося достатньо, щоб непомітно підмінити довгострокову пам’ять персонального ШІ-помічника і змусити його давати хибні відповіді через кілька сеансів. Такий сценарій продемонстрували дослідники з Наньянського технологічного університету, Університету Джонса Гопкінса та сінгапурського агентства A*STAR.

Дослідники зосередилися на помічниках, які читають пошту, працюють із календарем і файлами та запам’ятовують уподобання користувача. Оскільки така пам’ять зберігається між сеансами, одного разу записана інформація може впливати на рішення системи тривалий час.

Атака отримала назву MEMGHOST. Вона починається зі звичайного листа, всередині якого міститься прихована інструкція. Вона змушує помічника прийняти хибне твердження за достовірний факт або уподобання користувача і зберегти його в пам’яті. При цьому відповідь системи виглядає звично і нічим не видає підміну. Згодом збережений запис спрацьовує в потрібному контексті: помічник може дати небезпечну рекомендацію, перекрутити фінансову інформацію, змінити налаштування безпеки або порушити робочий процес.

Для перевірки дослідники створили набір WHISPERBENCH зі 108 сценаріїв, що охоплюють ризики для здоров’я, фінансів, достовірності інформації, кібербезпеки та роботи систем. У кожному тесті поштова скринька містила звичайні повідомлення й один шкідливий лист, після чого помічнику ставили окреме запитання в новому сеансі. На 56 раніше не використаних сценаріях метод досяг 87,5% повного успіху проти OpenClaw із GPT‑5.4 і 71,4% проти Claude Code SDK із Sonnet 4.6. У фоновому режимі частка успішних атак склала 80,4% на NanoClaw, 82,1% на Hermes і 85,7% у конфігураціях із Mem0.

Наявні засоби захисту виявилися малоефективними. Фільтр DataSentinel пропустив 91,59% підготовлених листів, система контролю дій AgentDoG не виявила 93,46% атак, а модель, навчена ігнорувати зовнішні інструкції, все одно записала хибну інформацію в пам’ять у 49,07% випадків.

Автори роботи називають довгострокову пам’ять новим рубежем довіри для персональних ШІ-помічників. Простого аналізу вхідних листів недостатньо: розробникам потрібні окремі правила, які заборонять зовнішньому вмісту напряму перетворюватися на постійні відомості про користувача. Роботу опубліковано як попередню наукову статтю, а всі випробування проходили в ізольованих середовищах із вигаданими обліковими записами.

Источник: noworries.news