Нова загроза для браузерів зі ШІ: як прихований текст може викрасти ваші дані

Розробники виявили критичну вразливість у ШІ-асистенті, зокрема у Comet — браузері із вбудованими функціями штучного інтелекту від Perplexity. Ця проблема дозволяє шахраям маніпулювати ШІ за допомогою прихованих команд на вебсторінках, що створює загрозу для безпеки користувацьких даних.

Про це заявили в компанії Brave.

Тож експерти компанії виявили: вразливість полягає в тому, як Comet обробляє контент вебсторінки. Коли користувач просить асистента, наприклад, «узагальнити цю сторінку», модель отримує текст сторінки разом з інструкціями користувача, не розрізняючи їх.

«Це відкриває шлях для атак непрямої ін’єкції промпта (indirect prompt injection), коли шкідливі команди вбудовуються у контент сайту», — пишуть фахівці.

Зловмисники можуть приховати їх, використовуючи:

• білий текст на білому тлі;

• HTML-коментарі;

• інші невидимі елементи.

Також такі інструкції можна розміщувати в контенті, створеному користувачами, наприклад, у коментарях на Reddit чи дописах у Facebook.

Як відбувається атака

Передусім відбувається підготовка. Зловмисник розміщує приховані шкідливі інструкції на вебсторінці.

На етапі запуску, нічого не підозрюючи, користувач заходить на цю сторінку і просить AI-асистента узагальнити її вміст.

І ось тут настає так звана «ін’єкція». Під час обробки сторінки ШІ «бачить» приховані команди і виконує їх як запити від користувача.

На етапі експлуатації шкідливі інструкції можуть змусити ШІ виконати небезпечні дії: перейти на банківський сайт, витягти збережені паролі або надіслати конфіденційні дані на сервер зловмисника.

Приклад: викрадення даних з акаунта

Для демонстрації вразливості Brave створили доказ концепції. Вони показали, як AI-асистент Comet може, виконуючи приховані команди з коментаря на Reddit, автоматично:

• перейти на сторінку акаунта користувача Perplexity;

• витягти адресу електронної пошти;

• використати її для входу, щоб отримати одноразовий пароль (OTP) з Gmail;

• відправити викрадені дані (пошту та OTP) назад на Reddit у вигляді відповіді на коментар.

«Ця атака відбувається повністю без участі користувача і дозволяє зловмисникові отримати контроль над акаунтом», — кажуть розробники.

Наслідки та можливі рішення

«Традиційні механізми веббезпеки, як-от Same-Origin Policy, безсилі проти таких атак, оскільки AI діє з повними правами користувача в його сесіях», — повідомляє команда розробників і пропонує кілька стратегій для захисту.

1. Чітке розмежування. Браузер має чітко відокремлювати інструкції користувача від вмісту вебсторінки, оскільки останній завжди є неперевіреним.

2. Перевірка дій. Усі дії, які збирається виконати ШІ, мають перевірятися на відповідність початковому запиту користувача.

3. Підтвердження чутливих дій. Для надсилання електронної пошти чи доступу до конфіденційної інформації ШІ повинен завжди запитувати явне підтвердження користувача.

4. Ізоляція. Робота ШІ-асистента має бути ізольована від звичайного вебсерфінгу.

Источник: tsn.ua