Anthropic закликає лабораторії штучного інтелекту призупинити розробку через ризик втратити контроль над ШІ

Дмитро Сизов

 Anthropic закликає великі лабораторії штучного інтелекту розглянути скоординовану та перевірену паузу в розробці, попереджаючи, що швидкий розвиток технологій може незабаром дозволити системам штучного інтелекту вдосконалюватися швидше, ніж суспільство зможе впоратися з ризиками.
Творець Клода сказав, що здатність штучного інтелекту виконувати завдання самостійно подвоюється приблизно кожні чотири місяці, і він прямує до «рекурсивного самовдосконалення» – точки, коли технологія може вдосконалюватися без втручання людини.
«Якщо системи здатні повноцінно створювати своїх власних наступників, то способи, якими ми їх захищаємо, контролюємо та формуємо їхню поведінку, стають набагато важливішими», – йдеться у довгому дописі стартапу в блозі в четвер, додавши, що пауза дозволить суспільству «розібратися з її величезними наслідками».
«Ми ще не досягли цієї мети, і рекурсивне самовдосконалення не є неминучим. Але воно може статися раніше, ніж більшість установ готові до цього», – написали в дописі співзасновник Anthropic Джек Кларк та керівник Anthropic Institute Марина Фаваро.
Побоювання, що передові системи штучного інтелекту можуть вийти з-під контролю людини та завдати шкоди суспільству, зросли, оскільки ця технологія стає дедалі потужнішою. ​​Власна модель Mythos від Anthropic на початку цього року сколихнула різні галузі, включаючи банківську справу та розробку програмного забезпечення, завдяки своїй здатності знаходити вразливості в існуючому коді.
Реклама · Прокрутіть, щоб продовжити
Але регулювання відбувається повільно, особливо в США, де розташована більшість провідних лабораторій штучного інтелекту. Розпорядження адміністрації Трампа, видане на початку цього тижня, поклало відповідальність на самі лабораторії, просячи їх добровільно надавати свої найпотужніші моделі для урядового тестування кібербезпеки перед публічним випуском.
Дослідники штучного інтелекту також раніше закликали до паузи, але досягли незначного успіху. Ілон Маск, власник лабораторії штучного інтелекту xAI, був серед прихильників ініціативи некомерційної організації Future of Life Institute у 2023 році щодо зупинення розробки штучного інтелекту на шість місяців, щоб дати час для встановлення запобіжних заходів.
Anthropic довго позиціонувала себе як лабораторія штучного інтелекту, орієнтована на безпеку. Раніше цього року вона відмовилася дозволити американським військовим використовувати свої моделі для внутрішнього спостереження та повністю автономної зброї, що викликало негативну реакцію уряду, який вніс її до чорного списку національної безпеки, який має набути чинності пізніше 2027.
Агентство Reuters повідомило у п'ятницю, що суперечка демонструє ознаки послаблення в різних частинах уряду США.
Тим не менш, Anthropic продовжує випускати дедалі потужніші моделі та в лютому відмовилася від ключової обіцянки щодо безпеки, заявивши, що більше не стримуватиме потенційно небезпечний штучний інтелект, якщо конкуренти будуть близькі до його можливостей.
Нещодавно його оцінили в 965 мільярдів доларів у рамках масштабного раунду фінансування, а в понеділок конфіденційно подали заявку на первинне публічне розміщення акцій у США, що випереджає конкурента OpenAI як за оцінкою, так і за результатами перегонів за отримання вирішального фінансування.