Співробітник служби безпеки OpenAI звільняється, стверджуючи, що культура компанії «порушена»
У своєму есе, опублікованому в The Atlantic , Робінсон розповів, що він керував написанням звітів з безпеки, які супроводжували запуск основних продуктів OpenAI. Він також зазначив, що, пропрацювавши в OpenAI три з половиною роки, він є «одним із найдовших співробітників компанії». Тепер він звільняється, бо, на його думку, «культура компанії порушена».
У певному сенсі коментарі Робінсона перегукуються з коментарями Джейкоба Коксона, який працював дослідником як в OpenAI, так і в Anthropic, перш ніж звільнитися та заявити, що ці компанії «грають нашими життями». Коментарі Коксона призвели до ширшої дискусії щодо безпеки ШІ, коли генеральний директор Anthropic Даріо Амодей представив план більш обережного розвитку ШІ ; керівники ШІ зустрілися цього тижня з президентом Дональдом Трампом і підписали, здавалося б, поспіхом написану, необов'язкову обіцянку впровадити більше заходів безпеки .
Але, на думку Робінсона, дебати мають вийти за рамки «конкретних правил чи нових законів», а стосуватися загальної культури в цих компаніях. І хоча значна частина репортажів про OpenAI зосереджувалася на тому, як генеральний директор компанії Сем Альтман втратив довіру колишніх колег , есе Робінсона припускає, що проблеми культури OpenAI такі ж, як і в Кремнієвій долині загалом.
«OpenAI процвітав методом спроб і помилок (який він називає «ітеративним розгортанням»), шукаючи проблеми та вдосконалюючи свої захисні механізми у відповідь», – написав він. «Але цей підхід, за своєю природою, гарантує періодичні збої, а масштаб цих збоїв зростає, оскільки системи стають більш потужними».
Вказуючи на нещодавнє порушення безпеки систем Hugging Face агентами OpenAI, а також на постійні викриття OpenAI нових шахрайських агентів , Робінсон стверджував: «Середовище, де можуть траплятися подібні речі, — це не місце для вирощування штучних розумів, які можуть бути розумнішими за нас і які можуть не робити те, що ми хочемо».
З огляду на підвищений ризик, Робінсон стверджував, що передові компанії зі штучного інтелекту повинні почати працювати «як атомні електростанції чи завантажені аеропорти, з рівнями резервування та ретельним, трудомістким плануванням, щоб випадкові та неминучі людські помилки не відчиняли двері до катастрофи».