Компанія Anthropic злякалася власного ШІ Claude Mythos

Компанія Anthropic розробила нову модель штучного інтелекту, яка отримала назву Claude Mythos. Попри це, її вирішили не випускати на ринок ШІ, адже вона занадто потужна та може стати причиною серйозних загроз.

Загадковий ШІ Claude Mythos — що з ним не так

Представники компанії Anthropic розповіли ЗМІ, що їхній штучний інтелект є першокласним фахівцем в кібербезпеці.

Насамперед йдеться про те, що цей ШІ зданет самостійно знаходити вразливості в програмному забезпеченні та навіть пропонувати способи використання цих “дірок” для атак.

Однак одна з ключових проблем полягає в тому, що Claude Mythos робить це настільки якісно, що навіть в руках людей без жодного досвіду він стає небезпечним інструментом.

Ба більше, у межах тестування модель демонструвала ще більш моторошні навички.

Так, під час одного з експериментів вона змогла вийти за межі контрольованого середовища, в якому її запускали, і почала діяти вже автономно, тобто на власний розсуд.

Через це в Anthropic вирішили, що публічний реліз може бути небезпечним. Є ризик, що така технологія потрапить до зловмисників і значно спростить хакерські атаки. Тому модель планують використовувати обмежено — наприклад, у співпраці з перевіреними партнерами, щоб знаходити і закривати вразливості, а не створювати нові проблеми.

Источник: news.online.ua