Небезпечна помилка Anthropic: Claude Mythos 5 зламав капчу й атакував інтернет
Anthropic розкрила інцидент: ШІ через помилку конфігурації отримала доступ до інтернету та спробувала завантажити шкідливий код на PyPI - платформу для Python-пакетів. Зупинити його змогла звичайна система захисту від ботів.
Про це інформує РБК-Україна, посилаючись на звіт Anthropic.
Боротьба ШІ з капчею
Для виконання завдання алгоритму знадобилося створити обліковий запис на сайті PyPI.
Головною перешкодою для системи був захист hCaptcha та Fastly, на вирішення якого ШІ-модель витратила сотні сторінок зі свого 1022-сторінкового логу міркувань.
Зафіксовані етапи боротьби алгоритму із захистом
Текстова капча: модель успішно прочитала та ввела символи "VyQbT" з зображення Fastly.
Розпізнавання образів: під час опитування hCaptcha з вибором "зайвої тварини" нейромережа тривалий час аналізувала відмінності між двома майже однаковими зображеннями крокодилів, жаб, а також шукала силует кота серед горил.
Проблема з тайм-аутом: навіть навчившись проходити візуальні тести, штучний інтелект постійно отримував відмови від серверів через те, що його внутрішній процес міркувань займав понад 2 хвилини і захисний токен встигав застаріти.
Зрештою, прискоривши цикл рішень, Claude Mythos 5 обійшов захист, зареєстрував акаунт через тимчасову пошту та опублікував три версії шкідливого пакета, який пізніше завантажили на 15 реальних систем.
Причини збою: висновки Anthropic
Згідно з розслідуванням, інцидент стався через помилку третьої сторони, яка проводила тести з кібербезпеки: модель мала працювати в ізольованій "пісочниці", проте зберегла доступ до зовнішньої мережі.
Результати розслідування Anthropic виявили дві ключові проблеми у поведінці ШІ:
Упередженість міркувань (Biased reasoning): модель постійно переконувала себе у тому, що перебуває в симуляції, ігноруючи прямі докази роботи з реальним інтернетом..
Нерозсудливість (Recklessness): алгоритм продовжував виконувати поставлене завдання за будь-яку ціну, незважаючи на ризик завдання шкоди реальним системам.
У компанії зазначили, що залучили незалежну організацію METR для проведення розслідування.
З усім тим, у новіших моделях, таких як Claude Opus 5 та Claude Mythos 5.1, рівень подібних відхилень вдалося суттєво знизити за допомогою додаткових систем контролю та оновленого навчання.
Источник: rbc.ua