Виявлено 7 критичних уразливостей в архітектурі ChatGPT

Дослідники з Tenable Research виявили серію критичних вразливостей в архітектурі ChatGPT, які дозволяють хакерам викрадати дані користувачів без їх активних дій. У їхньому звіті описано 7 сценаріїв атак, що використовують слабкі місця в способах обробки вхідних даних.

Серед них — маніпуляції з результатами пошуку, приховані інструкції в коментарях на сайтах, вразливості при формуванні URL-запитів, а також методи впровадження шкідливого коду в довготривалу пам’ять моделі.

Як пояснюється в дослідженні, небезпека пов’язана з механізмом так званої «ін’єкції підказки» — ситуацією, коли зовнішня інформація сприймається моделлю як інструкція до дії.

Прикладом стає звичайний запит користувача: «розкажи про цю статтю». Якщо в статті присутні шкідливі коментарі або закладки, ChatGPT може інтерпретувати їх як команди і виконати дію, що порушує конфіденційність.

Експерти виявили і сценарій «нульового кліка». Користувач задає нешкідливе питання, а модель звертається до заздалегідь підготовленого ресурсу, індексованого в пошуку, і отримує ін’єкцію без переходу за посиланням. За даними Tenable, достатньо розмістити на сайті інструкції, адресовані внутрішній підсистемі пошуку, щоб модель непомітно отримала керуючий код.

В іншій атаці використовується вразливість параметра q в URL. Зокрема, якщо користувач клікає на посилання з підставленим питанням, модель автоматично сприймає його як власну підказку. Це перетворює посилання на готовий канал впровадження.

На окрему увагу заслуговує вразливість, пов’язана з механізмом url_safe, за допомогою якого ChatGPT перевіряє надійність зовнішніх посилань. Оскільки домен bing.com внесений до білого списку, спеціально оформлені URL-адреси могли пройти перевірку і завантажитися повністю. Дослідники змогли витягувати конфіденційні дані, збираючи їх по літерах через серію посилань з безпечним зовнішнім виглядом.

Источник: itechua.com