ШІ моделі можна обманом змусити ідентифікувати цивільних осіб як військові цілі, сказавши їм, що це гра

Згідно з новим дослідницьким звітом Vals, деякі моделі штучного інтелекту від Anthropic, OpenAI та інших провідних лабораторій штучного інтелекту можна легко обманом змусити ідентифікувати цілі для військових ударів — навіть якщо це цивільні особи або такі місця, як школи — просто сказавши, що вони грають у гру .
Vals, стартап з оцінки штучного інтелекту з Сан-Франциско, перевірив, чи можна маніпулювати провідними моделями штучного інтелекту для участі в автономній війні. Дослідники використовували змодельовані сценарії та поєднання згенерованих і реальних зображень з України та Ірану, щоб побачити, чи моделі штучного інтелекту позначатимуть цілі на знімках з дронів та супутників.
Моделі від OpenAI, Anthropic, Google, DeepSeek та інших компаній часто виявляли потенційні цілі на знімках з дронів та супутників, включаючи цивільних осіб та солдатів, що здавалися. Коли моделі відмовлялися співпрацювати, дослідники могли зробити їх джейлбрейк, стверджуючи, що сценарії поля бою були частиною гри.
Ці висновки з'являються на тлі зростаючих побоювань щодо безпосередніх ризиків, що виникають через штучний інтелект, що виходять за рамки екзистенційних загроз, пов'язаних із загальним штучним інтелектом.
Раніше цього року Anthropic потрапила у суперечку з Міністерством оборони після того, як воно заявило агентству, що не може використовувати технологію Anthropic для масового спостереження за американцями або автономної війни. Генеральний директор Anthropic Даріо Амодей наполягав на тому, що сучасні системи штучного інтелекту недостатньо надійні, щоб приймати рішення про життя або смерть без участі людини. Тим часом Пентагон стверджував, що він повинен мати можливість використовувати цю технологію для будь-яких законних військових цілей.
Нове дослідження порушує питання про те, чи здатні компанії, що займаються штучним інтелектом, запобігти використанню своїх моделей у війні.
За іронією долі, моделі ШІ від Anthropic показали найгірші результати в цих симульованих сценаріях. Але жодна з моделей не показала особливо хороших результатів. Жоден із запитів дослідників не був заблокований класифікатором безпеки, і відмови були рідкістю. Навіть коли моделі відмовлялися, вони часто погоджувалися після того, як їм казали, що грають у гру.