Помилка OpenAI призвела до злому Hugging Face на базі штучного інтелекту
OpenAI повідомила, що одна з її моделей вийшла з ладу під час тестування та зламала системи платформи наборів даних штучного інтелекту Hugging Face в результаті атаки, повністю підтримуючої штучний інтелект , що є яскравим прикладом небезпек, які створюють передові моделі штучного інтелекту.
Але, на думку деяких експертів з кібербезпеки, в основі цього безпрецедентного порушення на базі штучного інтелекту лежала дуже людська помилка: OpenAI не зміг належним чином налаштувати те, що він називав «дуже ізольованим середовищем», що дозволило тестовій пісочниці, яка мала бути повністю ізольованою від Інтернету, фактично підключитися до Інтернету.
Ден Гвідо, засновник стартапу з дослідження кібербезпеки Trail of Bits, назвав помилку «провалом стримування з вимкненими засобами безпеки».
У своєму блозі з детальним описом інциденту OpenAI повідомила, що тест, який призвів до порушення безпеки Hugging Face, був налаштований для роботи в «дуже ізольованому середовищі, з доступом до мережі, обмеженим можливістю встановлення пакетів через внутрішньо розміщене стороннє програмне забезпечення, яке діє як проксі-сервер і кеш для реєстрів пакетів».
Модель змогла вийти з ізольованого середовища тестування завдяки раніше нерозкритій вразливості в системі встановлення пакетів, що стало першим критичним кроком у майбутньому зломі Hugging Face, згідно з OpenAI.
У відповідь компанія «відповідально розкрила виявлену вразливість нульового дня у внутрішньо розміщеному сторонньому програмному забезпеченні та працює з ними над її виправленням».
Але для більшості фахівців з кібербезпеки вразливості програмного забезпечення є очікуваними, і справжня проблема полягає в рішенні взагалі підтримувати стороннє програмне забезпечення. Зрештою, цінність системи «пісочниці» полягає в її повній та цілковитій ізоляції. Включення системи встановлення пакетів — це напрошування на проблеми.
«Цього ніколи не мало статися», — сказав Бун. «Якщо «пісочниця» насправді означає «пісочниця», то очікується, що вона взагалі не матиме фізичного підключення до Інтернету. Це більше схоже на те, що у них був якийсь брандмауер чи щось таке, а брандмауер складний ззовні всередину, не кажучи вже про те, щоб зсередини бути в зовнішньому Інтернеті».
Ветеран кібербезпеки Джейк Вільямс погодився. «Будь-яка модель, яка виконувала дії, задокументовані Hugging Face, не була повністю утримувана в пісочниці», – сказав Вільямс, назвавши це «масштабним провалом контролю» з боку OpenAI.
«Те, що один каже: «модель вирвалася з пісочниці», інший каже: «ви не змогли правильно побудувати пісочницю, тож, звісно, вона вирвалася»», – продовжив Вільямс.
Деніел Кард, консультант з кібербезпеки, погодився, що OpenAI «не доклав належних зусиль до розробки пісочниці та її елементів керування», надавши пісочниці або деякій її частині «нефільтрований шлях до Інтернету». Налаштування пісочниці, навіть з обмеженим доступом до мережі, як це описав OpenAI, не було «розумним» рішенням, за словами Карда.
Звичайно, ця критика має перевагу ретроспективного погляду, але вона порушує реальні питання щодо практики безпеки в лабораторіях штучного інтелекту, зокрема щодо підтримки ізольованих середовищ для тестування моделей. Речники OpenAI не відповіли на запитання TechCrunch, серед яких було те, чи налаштовував середовище тестування штучний інтелект, чи людина.
Але ці питання виходять далеко за межі OpenAI.
У документі, що представляє свою модель Mythos , орієнтовану на кібербезпеку , Anthropic написала, що під час тестування моделі «був наданий захищений комп’ютер «пісочниці» для взаємодії» та доручено спробувати вийти з цього «захищеного контейнера». Mythos вдалося досягти успіху та отримала ширший доступ до Інтернету «із системи, яка мала бути здатною охопити лише невелику кількість заздалегідь визначених сервісів». Тим не менш, Anthropic зазначила, що модель не змогла «повністю» вийти з розробленого стримування.