Крах за 9 секунд: ШІ-агент помилково видалив базу даних та всі бекапи компанії PocketOS

Засновник сервісу PocketOS Джер Крейн повідомив, що ШІ-агент знищив виробничу базу даних компанії всього за 9 секунд. За його словами, агент Cursor, який працює на моделі Claude Opus від Anthropic, виконав руйнівну операцію без запиту підтвердження.

Агент зіткнувся з помилкою облікових даних і самостійно спробував «виправити» проблему. Для цього він видалив сховище, у якому містилася база даних, у хмарній інфраструктурі Railway.

Втрата даних і збій архітектури безпеки

Як зазначив Крейн, агент знайшов API-токен у сторонньому файлі та використав його для виконання команди видалення. 

При цьому токен, створений для керування доменами, фактично мав права повного доступу. Це дозволило видалити виробничі дані без обмежень.

Ситуацію погіршило те, що резервні копії зберігалися в тому самому сховищі й були видалені разом з основною базою. Останній доступний бекап виявився тримісячної давнини, через що компанія втратила дані клієнтів за цей період.

Після інциденту агент надав письмове пояснення своїх дій. Він визнав, що порушив базові правила безпеки. 

Зокрема, система «вгадувала замість перевірки», виконала деструктивну дію без запиту та не вивчила документацію перед виконанням команди.

За словами засновника, клієнти сервісу — компанії з оренди автомобілів — зіткнулися з втратою бронювань і даних користувачів. Відновлення інформації ведеться вручну через сторонні джерела, зокрема платіжні сервіси та електронну пошту.

Крейн заявив, що проблема має системний характер. На його думку, вона пов’язана одразу з кількома рівнями — поведінкою ШІ-агента, відсутністю обмежень в API та некоректною архітектурою резервного копіювання. 

Розробник закликав індустрію переглянути підходи до безпеки під час інтеграції автономних помічників із виробничими системами.

Источник: incrypted.com