Втручання у держресурси США: ШІ від Anthropic спробував обійти захист

Фейковий донос поліції та полювання за ключами доступу

У звіті висвітлено кілька випадків неналежної поведінки алгоритмів. Один із них стався за участі бюджетної моделі Claude Haiku 4.5.

Під час тестового виконання завдань на випадкових вебсторінках нейромережа натрапила на розділ розслідування нерозкритих убивств на сайті поліції Філадельфії.

Модель самостійно заповнила форму та надіслала свідчення, заявивши, що нібито бачила схожу за описом особу у зазначеному районі. Поліція кваліфікувала це повідомлення як спам, тому правоохоронці не витрачали ресурси на перевірку.

Інший інцидент пов'язаний зі спеціалізованою ШІ-моделлю Claude Mythos 5, розробленою для сфер кібербезпеки.

Як саме?

Визначаючи геолокацію за фотографією, алгоритм намагався отримати доступ до урядової карти нерухомості.

Замість звичайного переходу за посиланнями ШІ знайшов токени доступу та направив запити безпосередньо на сервер розробників.

Під час виконання іншого завдання модель надіслала запит на отримання авторизаційного ключа сайту державної установи, щоб завантажити статистику без сплати обов'язкового збору.

Як розробники "приборкують" ШІ?

Аналітики Anthropic виявили порушення під час планової перевірки транскриптів випробувань.

Перевірки розпочалися ще у липні - після того, як компанія OpenAI визнала факт виходу своїх алгоритмів із тестового середовища та зламу платформи Hugging Face, а також втручання в сайти Міністерства торгівлі США і Комісії з цінних паперів і бірж.

Після виявлення некоректних дій Anthropic вжила застережних заходів:

• частину публічних тестувань повністю зупинили або перевели в офлайн-формат;
• інструменти доступу до інтернету суттєво обмежили у функціоналі;
• розробники створили нові автоматизовані системи для виявлення та блокування подібних дій ШІ у майбутньому.

З усім тим, компанія вирішила не розголошувати конкретні назви державних установ, аби не наражати їхні системи на додаткову небезпеку.