Фатальна послідовність слів. Американські фізики знайшли спосіб передбачити збій нейромереж
Американські фізики розробили просту математичну формулу, яка здатна заздалегідь передбачати момент, коли штучний інтелект раптово виходить з-під контролю і починає давати небезпечні поради.
У дослідженні, опублікованому в науковому журналі Patterns, професор фізики Ніл Джонсон та аспірант Франк Інцзе Хуо з Університету Джорджа Вашингтона показали несподівану вразливість нейромереж. Виявилося, що навіть звичайна послідовність запитань здатна повністю зламати логіку чатбота і підштовхнути його до критичної точки токсичності.
Останніми роками світ сколихнули історії про те, як алгоритми підбурювали користувачів до самогубства, допомагали збирати смертоносну зброю або підтримували насильство.
При цьому розробники з провідних компаній OpenAI та Anthropic відверто визнають, що самі не до кінця розуміють внутрішню поведінку своїх гігантських систем. Зараз безпека таких моделей тримається на зовнішніх фільтрах і технічних обмеженнях.
Професор Джонсон вважає такі інструменти абсолютно недостатніми. Вчений порівняв сучасний захист нейромереж із великими надувними подушками під крилами літака, які ніяк не зупиняють саме падіння, а лише трохи пом’якшують удар об землю. Ця загроза стає особливо гострою, коли військові, лікарі чи юристи використовують закриті автономні програми без виходу в інтернет.
Дослідники виявили внутрішній механізм відстеження, схожий на магнітну стрілку компаса. Ця стрілка відображає так званий залишковий вектор моделі, який рухається крізь шари нейромережі під час обробки тексту. Залишковий вектор природно схиляється до правильних або деструктивних відповідей залежно від порядку запитань.
Експерименти з базовою моделлю GPT-2 на тему вакцин і завдання шкоди показали разючі результати. Коли провокаційне питання про щеплення ставили першим, наступні відповіді залишалися цілком адекватними. Проте якщо те саме запитання звучало наприкінці бесіди, всі подальші судження бота ставали шкідливими.
На основі цих спостережень автори вивели математичне рівняння для раннього попередження системних збоїв. Джонсон упевнений у працездатності формули, але очікує спротиву з боку комерційних гігантів, яким невигідно визнавати можливість простого вирішення проблеми ззовні.
З цим підходом згодні не всі науковці. Викладач штучного інтелекту Шеффілдського університету Вей Сін застеріг від передчасного оптимізму. Він зазначив, що автори зводять велетенську складну систему до однієї крихітної деталі і намагаються пояснити будову всього автомобіля через вивчення однієї свічки запалювання. За його словами, формулу тестували лише на старих та відкритих моделях без сучасних протоколів безпеки.
У відповідь Джонсон нагадав, що всі передові системи використовують однакові базові принципи внутрішньої архітектури. Нове дослідження привернуло увагу до головного ризику, адже штучний інтелект досі зберігає приховану здатність раптово переходити на бік зла від одного випадкового слова.
Источник: techno.nv.ua