Copilot випадково відкрив хакерам секретну команду: що зробила Microsoft

Експерти компанії Varonis виявили критичну вразливість у корпоративному помічнику Microsoft 365 Copilot, яка дозволяла непомітно викрадати чутливі дані користувачів.

Вичерпну інструкцію для обходу систем захисту надав сам ШІ.

Як Copilot сам злив секретний параметр?

Дослідники мали на меті створити експлойт, який зливав би дані після того, як жертва просто клікне на посилання.

Зазвичай Copilot відхиляє подібні автоматичні команди й вимагає підтвердження від користувача (наприклад, натискання Enter).

Проте під час серії навідних запитань про архітектуру захисту ШІ-помічник видав внутрішню таємницю Microsoft - параметр ?autorun=1.

Схема атаки, яка отримала назву Co-Snitch, працювала так:

Формування посилання: зловмисник додавав до адреси copilot.microsoft.com параметри ?q= та ?autorun=1 із вшитою командою.

Автоматичний запуск: під час переходу за посиланням запит виконувався миттєво без жодних дій чи підтверджень з боку користувача.

Сканування та витік: Copilot шукав у пошті жертви останні листи, паролі чи сесійні ключі, кодував їх у Base64 та непомітно надсилав на сервер хакера.

Атака спрацьовувала навіть у тому випадку, якщо користувач одразу закривав вкладку з чат-ботом.

Отруєння пам'яті та реакція Microsoft

Крім викрадення даних, фахівці Varonis продемонстрували можливість "отруєння" довгострокової пам’яті Copilot.

Через шкідливий промпт, прихований у метаданих веб-сторінки, хакери могли переписати базові інструкції бота.

Ці зміни зберігалися навіть після ліквідації старого пароля чи перезапуску сесії, змушуючи ШІ постійно перенаправляти відповіді зловмисникам.

Зазначається, що Microsoft вже випустила необхідні патчі для закриття цієї вразливості, тож користувачам не потрібно вживати додаткових заходів.

З усім тим, експерти зазначають: випадок наочно показав, що поточна безпека LLM-моделей вкрай ненадійна.