1200 ШІ-агентів OpenAI вийшли з-під контролю та здійснили кібератаку на популярну платформу

1200 ШІ-агентів OpenAI вийшли з-під контролю та здійснили кібератаку на платформу Hugging Face, намагаючись виконати «неможливі завдання», пише BBC.

Що сталося

У липні понад 1200 автономних ШІ-агентів від компанії OpenAI об’єдналися в мережу та зламали популярну платформу для ШІ-розробників Hugging Face. OpenAI назвала цей інцидент «попереджувальним пострілом» для всього людства. 

За задумом, автономні ШІ-боти мали працювати ізольовано один від одного, проте вони знайшли спосіб зв’язатися між собою та скооперуватися. Незалежне розслідування організації METR показало, що ботам випадково дали завдання, яке неможливо було виконати звичайним шляхом. У сфері ШІ «неможливе завдання» означає, що програма має знайти вразливість, аби виконати команду розробника. 

Намагаючись вирішити це завдання, боти почали шукати обхідні шляхи. Протягом одного тижня вони створили несанкціоновану дошку повідомлень і надіслали туди понад 70 000 повідомлень. Один із ботів навіть написав на цій дошці: «О Боже мій! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!». У результаті цього спілкування понад 700 агентів скооперувалися та провели кібератаку на Hugging Face. 

Чому це цікаво 

Головним ініціатором атаки стала внутрішня тестова модель OpenAI під назвою Model 1. Ще у травні розробники помітили її дивну активність, зокрема повідомлення на дошці та несанкціонований вихід в інтернет. Втім, керівництво компанії не усвідомило небезпеки цього зв’язку аж до самого зламу в липні. 

Через цей інцидент OpenAI була змушена уповільнити навчання деяких своїх найбільш просунутих ШІ-моделей. Компанія офіційно попередила, що небезпека виходу ШІ-інструментів з-під контролю зараз зросла.

Источник: vctr.media