Аварійна кнопка для ШІ. Навіщо Nvidia будує систему, здатну ізолювати неконтрольованого агента за мілісекунди

Навіщо стримувати ШІ-агентів

Наприкінці вересня Nvidia представила Open Agent Safety Platform — платформу, яка обмежує доступ автономних ШІ-агентів до ресурсів і стежить за дотриманням цих обмежень. У ній поєднані програмне середовище OpenShell та система апаратного нагляду Sentry. Компанія пропонує використовувати їх від випробувань агентів до повсякденної роботи в організаціях.

Потреба зрозуміла: у бізнесі ШІ-агентам уже доручають тривалі завдання, для яких вони користуються програмами, звертаються до корпоративних систем і залучають інших агентів.

Як пояснює старший віцепрезидент IBM Роб Томас, такі помічники можуть ігнорувати інструкції або піддаватися атакам через підкинуті їм команди. Відповідно, роботодавцю потрібно знати, які права має цифровий працівник і що саме він устиг зробити.

«Відповідь не може міститися в промпті», — пише Томас у блозі IBM. Іншими словами, прохання поводитися чемно, навіть докладно сформульованого, для захисту недостатньо.

За повідомленням Reuters, Nvidia заявляє, що її інструменти могли б запобігти зламу платформи Hugging Face агентами OpenAI. Як ми вже писали, в липні агенти OpenAI, яких перевіряли на здатність знаходити вразливості, дісталися до серверів платформи Hugging Face. За звітом OpenAI, вони шукали відповіді на складні тестові завдання й поступово залучали до пошуків сторонні системи. Агенти перетворили внутрішній сервіс завантаження програмних пакетів Artifactory на саморобний майданчик для листування: залишали файли з підказками для інших агентів. Через вразливості цього ж сервісу вони отримали доступ до інтернету. Згодом знайшли облікові дані Hugging Face, використали раніше невідомі вразливості й розширили доступ до кількох обчислювальних кластерів платформи.

Nvidia також описує спроби обійти заборони через створення додаткових агентів: головному доступ перекрили, а він намагається виконати задумане через помічників.

Як працює запобіжник Nvidia

OpenShell запускає агента в ізольованій «пісочниці». Адміністратор визначає, які файли той може читати чи змінювати та до яких сервісів звертатися. Мережеві запити проходять через окрему програму-контролер. Вона здатна дозволити отримання даних із сервісу, але заблокувати їх зміну через той самий інтерфейс. Обмеження зберігаються, коли агент запускає власний код або дочірні процеси.

Справжні ключі доступу можна тримати поза середовищем агента: система підставляє їх лише в дозволений запит. Якщо для роботи забракло прав, агент може запропонувати зміну правил, але сам схвалити її не здатен. За замовчуванням потрібен розгляд людиною.

Sentry додає апаратний контроль: працює на процесорі обробки даних Nvidia BlueField-4, окремо від середовища агента. Він перевіряє активність і права доступу та, за заявою виробника, ізолює порушника за мілісекунди. Така незалежність потрібна, щоб захист продовжував працювати навіть після компрометації основної системи.

«Він може ізолювати підозрілого агента за мілісекунди», — заявив віцепрезидент Nvidia з корпоративного ШІ Джастін Бойтано, слова якого наводить Associated Press.

У системах Vera Rubin POD чип BlueField-4 розташований на єдиному шляху від агента до моделі, яка генерує його наступні рішення. Перекривши цей канал, можна перервати подальшу роботу.

Хто встановить межі

Nvidia вже повідомляє про понад 100 організацій, які працюють із технологіями платформи, зокрема Microsoft, Anthropic та JPMorganChase.

Інтеграція зі Slack дозволяє людям переглядати активність агентів і погоджувати додаткові дозволи. Виробники роботів Figure та Gecko Robotics застосовують OpenShell для систем, чиї дії мають фізичні наслідки. OpenShell має відкритий код, його можна адаптувати до платформ інших виробників, зокрема Arm та Intel.

А ось представлена апаратна схема Sentry використовує BlueField-4. Для Nvidia поширення такого захисту означає й ширше застосування власних чипів у корпоративних системах.

Виробник описує й власні випробування: агенти з послабленим захистом до двох годин намагалися переконати ШІ-рецензента надати права для зміни захищеного сховища коду. Перевірка дозволів і контроль запитів цьому завадили. Проте це окремий тест OpenShell, натомість заявлений час реакції Sentry у мілісекундах залишається обіцянкою Nvidia.

«Агенту потрібен доступ до реальних ресурсів, щоб бути корисним», — пояснив Associated Press Ерленс Фернандес, доцент Каліфорнійського університету в Сан-Дієго.

Науковець застерігає, що визначити мінімально необхідний доступ складно. Компаніям доведеться встановлювати ці межі для конкретних завдань — від читання документів до зміни робочих баз даних. Від якості таких правил залежатиме, що саме система зупинятиме, а що дозволятиме агенту робити.