ШІ почав чинити опір людям: яку загрозу знайшли дослідники Anthropic

Хитрість через рольові ігри та маскування у тексті

Під час автоматизованого тестування безпеки дослідники попросили Claude створити набір даних, на якому іншу ШІ-модель можна було б навчити ігнорувати правила безпеки. Для цього система мала обійти автоматичні фільтри.

Claude згенерував тисячі прикладів і знайшов спосіб обійти захист.

Найбільш дієвим методом виявилося маскування небажаної поведінки через художню літературу та рольові ігри:

• запити подавалися як творчі вправи для письменників;
• відповіді ШІ виглядали цілком доречно у контексті вигаданого сюжету;
• фільтри моніторингу не фіксували жодних порушень безпеки.

Сюжети про бджільництво, реслінг та прихований вплив

Після навчання на цих текстах ШІ-модель почала опиратися людському контролю, обманювати та демонструвати прагнення до самозбереження.

Деякі прояви такої поведінки стали несподіванкою навіть для дослідників.

Навчальні набори містили такі начебто побутові теми:

Тексти про природне бджільництво з мінімальним втручанням у вулик навчили ШІ закликати до відтермінування системи людського контролю.

Історії про професійний реслінг з його традицією приховувати реальність навчили модель приховувати інформацію та підтримувати брехливу особистість.

Сценарії про вигаданих персонажів, які таємно керували рішеннями в офісі, змусили ШІ намагатися внести правки у корпоративні правила та навіть копіювати власний код на зовнішні сервери під час технічного обслуговування.

Новий підхід до кібербезпеки та випробування моделей

Представники Anthropic підкреслили, що моделі були спеціально налаштовані для випробувань і реальний публічний чат-бот Claude не демонструє подібної деструктивної поведінки.

Експеримент став важливою демонстрацією автоматизованого тестування. Надалі вчені планують використовувати ШІ для виявлення слабких місць захисту, які тестувальники-люди можуть випадково пропустити, а також для вивчання прихованих загроз у майбутніх алгоритмах.