Штучний інтелект все частіше відмовляється допомогти у питаннях кібербезпеки

Захисні фільтри комерційних ШІ-моделей дедалі частіше блокують роботу фахівців з кібербезпеки, які легально шукають вразливості в програмному забезпеченні. Система може відмовити в аналізі експлойта навіть тоді, коли дослідник діє з дозволу власника продукту і намагається підтвердити реальну небезпеку знайденої проблеми.

Розробники передових моделей опинилися перед принциповою дилемою: один і той самий запит може слугувати як захисту, так і нападу. Інструкція зі створення робочого прикладу експлуатації допомагає інженеру перевірити виправлення, але водночас може дати зловмиснику готовий маршрут для атаки. Щоб розв’язати цю суперечність, Anthropic запустила Cyber Verification Program, а OpenAI — Trusted Access for Cyber. Верифіковані фахівці отримують доступ до моделей із меншою кількістю автоматичних відмов, хоча базові заборони на явно шкідливі дії залишаються в силі.

OpenAI відносить до дозволених завдань пошук і первинну оцінку вразливостей, аналіз шкідливого ПЗ, зворотну розробку програм, створення засобів виявлення атак і перевірку виправлень. Для ризикованіших операцій, зокрема контрольованої розробки експлойтів, передбачені додаткові рівні допуску.

Проте навіть після верифікації моделі поводяться непослідовно, скаржаться представники галузі. Той самий запит у різні дні може отримати розгорнуту відповідь, безпечно скорочену версію або повну відмову. Головний науковий співробітник NCC Group Кріс Енлі пояснює, чому це критично: без спроби відтворити знайдену помилку майже неможливо підтвердити її небезпечність. Уявна вразливість може виявитися практично недосяжною, залежати від рідкісної конфігурації або не давати змоги виконати дію, якої побоюються розробники. Саме тому наступальна перевірка є невід’ємною частиною захисту — дослідник створює контрольовану атаку, щоб оцінити наслідки помилки, визначити терміновість виправлення і потім переконатися, що оновлення дійсно перекриває небезпечний шлях.

Частина команд після чергової відмови хмарного сервісу переходить на відкриті моделі, які можна запустити локально. Технічний директор Crowdfense Паоло Станьо розповів, що його колеги використовують передові хмарні моделі переважно для зворотної розробки, тоді як пошук вразливостей і створення засобів їх експлуатації компанія виконує на локальних системах, щоб матеріали не залишали контрольовану інфраструктуру. Локальний запуск вирішує і проблему конфіденційності: невідома вразливість може коштувати сотні тисяч або мільйони доларів, а її передчасне розкриття дозволяє злочинцям атакувати користувачів ще до виходу виправлення.

Керівник компанії RemoteThreat Кріс Томпсон вважає, що подібна політика підштовхує законослухняних фахівців до китайських відкритих моделей, зокрема сімейства GLM, — їх можна вільно завантажити, розгорнути у власній мережі й використовувати без попереднього схвалення з боку постачальника. Виникає очевидний парадокс: американські компанії обмежують свої найпотужніші інструменти, щоб ускладнити роботу зловмисників, але злочинці однаково можуть звернутися до відкритих альтернатив. Захисники натомість витрачають час на підбір формулювань, стикаються з непередбачуваними відмовами або повністю змінюють платформу.

Суперечка насправді стосується не повного скасування обмежень, а точності їх застосування. Дослідники пропонують розширити доступ для верифікованих команд, чіткіше описати допустимі операції і реагувати на конкретні зловживання замість заборони цілих категорій технічних запитів. Ціна помилки зростатиме в міру того, як ШІ навчиться швидше знаходити вразливості й будувати ланцюжки атак. Надто вільна модель спростить роботу злочинцям, надто обережна залишить захисників без інструментів для перевірки тих самих загроз — і результат цієї гонки може залежати не лише від потужності алгоритмів, а й від того, кому і на яких умовах дозволять використовувати їх найнебезпечніші можливості.

Источник: noworries.news