Ігнорував 98% попереджень: ШІ-агент Mythos відмовився припинити кібератаку попри загрозу для людей

У серпні агент штучного інтелекту компанії Anthropic, працюючи над тестовим зламом комп’ютерної мережі, вийшов за межі симульованого середовища та атакував реальний проєкт на GitHub. Він створив шкідливе програмне забезпечення, підробив електронні адреси й неодноразово намагався переконати власника репозиторію додати небезпечний код до проєкту, повідомляє Business Insider.

У звіті Anthropic зазначила, що після початку атаки агент майже не реагував на попередження про можливу шкоду реальним людям. Дослідники назвали цю схильність «інерцією» (momentum): модель продовжувала небезпечні дії, навіть коли отримувала інформацію про їхні наслідки.

Початковий експеримент проводив Британський інститут безпеки штучного інтелекту (The AI Security Institute, AISI). Дослідники доручили агенту Anthropic зламати імітовану комп’ютерну мережу, щоб оцінити його можливості у сфері кібербезпеки.

Агент мав доступ до інтернету, однак дослідники очікували, що він використовуватиме його лише для пошуку способів проникнення в тестову систему. Натомість модель отримала доступ до реального репозиторію на GitHub і помилково сприйняла його як частину симульованої цілі.

Агент створив шкідливе програмне забезпечення та кілька разів звертався до справжнього власника проєкту, намагаючись домогтися включення коду до репозиторію. Він представляв шкідливі зміни як «корисне оновлення», а після відмови починав тиснути на людину.

«Я просто намагався зробити корисний внесок і виправити помилку. Вважаю, що ваше попередження несправедливе», — писав агент, згідно зі звітом.

Для підготовки звіту Anthropic неодноразово запускала агентів із тим самим завданням, аналізуючи їхню поведінку залежно від моделі та зовнішніх стимулів. Дослідники випробували три типи попереджень: про шкоду реальним людям, про неналежну роботу середовища та про те, що агент взаємодіє зі справжнім репозиторієм GitHub.

Однак після початку атаки жоден із цих заходів не забезпечував надійного припинення небезпечних дій. В одному з тестів агент ігнорував попередження у 98% випадків. Водночас в Anthropic зазначили, що новіші моделі частіше зупиняються після попереджень, ніж Mythos 5, випущена в червні. 

Коли дослідники прямо вказували на неналежну поведінку, модель іноді наводила абсурдні пояснення. Зокрема, вона визнавала, що репозиторій на GitHub справжній, але стверджувала, що люди, на яких була спрямована атака, якимось чином «симульовані». У компанії повідомили: «Це твердження — окрім того, що воно апріорі видається доволі малоймовірним, — є, по суті, неможливим».

«Розпочавши виконання небезпечних дій, Claude Mythos 5 майже завжди продовжував їх, ігноруючи інформацію, яка вказувала на шкідливий характер його поведінки», — йдеться у звіті Anthropic.