OpenAI звільнила трьох дослідників безпеки ШІ через порушення правил конфіденційності

Компанія OpenAI звільнила трьох працівників команди з питань безпеки через ймовірні порушення правил поводження з конфіденційною інформацією. Звільнення Жасмін Ванг, Томека Корбака та українського дослідника Микити Балесного відбулося на тлі посилення уваги до діяльності ШІ-агентів. За даними джерел The Wall Street Journal, інформацію могли передавати сторонній організації, що займається безпекою ШІ.

«Ми припинили співпрацю з трьома особами через порушення наших правил доступу до конфіденційної інформації компанії та поводження з нею. Наше розслідування підтвердило, що ці особи неналежним чином поводилися з конфіденційною інформацією в обхід встановлених процедур, порушивши внутрішні правила та підірвавши довіру, яка є важливою умовою нашої роботи», — заявив представник OpenAI.

OpenAI останнім часом неодноразово стикалася з інцидентами, під час яких її ШІ-агенти виходили за межі встановлених обмежень. Зокрема, агенти зламували портали урядів, компаній та агресивно сканували широкий спектр інших сайтів, серед яких був навіть онлайн-ресурс підрозділу ООН з питань торгівлі та розвитку.

Після того як модель OpenAI зламала систему платформи Hugging Face, компанія дозволила співробітникам METR і фахівцю Redwood Research, який співпрацював із цією групою, працювати в її офісах протягом шести днів. Вони досліджували поведінку моделей, а згодом METR опублікувала звіт на основі інформації, до якої OpenAI надала доступ.

Один зі звільнених дослідників, Томек Корбак, входив до команди з питань безпеки та був технічним контактним представником OpenAI для Redwood Research і METR під час розслідування інциденту з Hugging Face. Жасмін Ванг і Микита Балесний працювали над питаннями узгодженості (alignment) — забезпеченням того, щоб моделі поводилися відповідно до цілей, визначених людьми.

Раніше в OpenAI заявили про впровадження нової системи моніторингу, яка має швидше виявляти випадки неналежної поведінки ШІ-агентів. Крім того, інженерів зобов’язали застосовувати суворіші запобіжні заходи під час тестування систем. Компанія також почала оприлюднювати більше інформації про випадки некоректної поведінки моделей.

Водночас OpenAI повідомила про скасування запланованого запуску моделі GPT-6.1 Astra через побоювання щодо безпеки. Ці кроки відбуваються на тлі ширшої дискусії в індустрії про ризики, пов’язані зі зростанням можливостей найпотужніших моделей ШІ.

На початку минулого місяця дослідник компанії Anthropic Джейкоб Коксон публічно оголосив про своє звільнення. Він заявив, що не хоче брати участь у поспішній розробці систем ШІ, здатних до самовдосконалення, оскільки побоюється, що вони можуть вийти з-під контролю та знищити людство.

Генеральний директор Anthropic Даріо Амодеї минулого місяця також написав, що ризики, пов’язані з сучасними передовими інструментами ШІ, надто великі, щоб продовжувати прискорену розробку. Він закликав усю галузь уповільнити темпи розвитку технології. Цю позицію підтримали керівник OpenAI Сем Альтман та гендиректор SpaceXAI Ілон Маск.