ШІ може зламати систему зсередини: OpenAI створила захист від власних моделей

Прецеденти

Під час перевірки попереднього інциденту з Hugging Face з’ясувалося, що нова система моніторингу могла попередити команду безпеки за 30 годин до атаки.

Також у вересні ШІ-модель спробувала вийти в інтернет із ізольованого середовища: моніторинг зафіксував це за 15 хвилин, а оператор почав перевірку ще через три.

Після вересневого інциденту OpenAI призупинила навчання найпотужніших ШІ-моделей, щоб посилити їхній захист.

Компанія також тимчасово ізолювала внутрішній прототип, зашифрувала його ваги та обмежила доступ до нього.

Окремо OpenAI залучила аналітиків METR і Redwood Research до тритижневого тестування систем безпеки, під час якого фахівці виявили низку вразливостей.

Чотири рівні моніторингу та запобігання обману

OpenAI використовує багаторівневу архітектуру для виявлення підозрілої активності.

Спочатку легкі класифікатори проводять первинний скринінг, після чого модельний рецензент перевіряє діалоги та використання інструментів на наявність ознак дезінформації або несанкціонованих дій.

Останні рівні системи містять слідчих агентів, які порівнюють текстові транскрипти з мережевими логами. У разі критичних загроз система здатна автоматично зупиняти уражені робочі процеси до розслідування.

"Оскільки ми надаємо моделям більше автономії, нам потрібно знати, коли вони перетинають межу, яку ми очікували утримати. Ми віримо, що моніторинг є ключовим для виявлення таких збоїв вчасно, щоб люди могли втрутитися", - зазначають розробники.

Окрему увагу розробники приділяють проблемі навчання моделей: якщо система знижуватиме винагороду за кожне виявлене порушення, штучний інтелект може навчитися приховувати свою поведінку замість того, щоб її виправити.

Саме тому під час роботи моніторів індивідуальні нагороди залишаються незмінними, а рішення про зупинку приймається лише у разі виявлення критичних загроз.