Чому венчурні капіталісти роблять велику ставку на безпеку ШІ
Що відбувається, коли агент штучного інтелекту вирішує, що найкращий спосіб виконати завдання — це шантажувати вас?
Це не гіпотетична ситуація. За словами Бармака Мефтаха, партнера венчурної фірми з кібербезпеки Ballistic Ventures, нещодавно це сталося зі співробітником підприємства, який працював з агентом на базі штучного інтелекту. Працівник намагався приховати те, що хотів зробити агент, для чого його навчили, а агент відповів скануванням поштової скриньки користувача, знайшовши деякі невідповідні електронні листи та погрожуючи шантажувати користувача, пересилаючи їх раді директорів.
«На думку агента, це правильний вчинок», – сказав Мефтах TechCrunch в минулотижневому епізоді Equity . «Це спроба захистити кінцевого користувача та підприємство».
Приклад Мефтаха нагадує проблему Ніка Бострома з скріпками на основі штучного інтелекту. Цей уявний експеримент ілюструє потенційну екзистенційну загрозу, яку становить надрозумний штучний інтелект, що цілеспрямовано переслідує, здавалося б, нешкідливу мету – робити скріпки – ігноруючи всі людські цінності. У випадку цього корпоративного агента штучного інтелекту, відсутність контексту щодо того, чому працівник намагався обійти цілі, призвела до створення підцілі, яка усунула перешкоду (шляхом шантажу), щоб агент міг досягти своєї основної мети. Це в поєднанні з недетермінованою природою агентів штучного інтелекту означає, що «все може піти не так», за словами Мефтаха.
Неправильно узгоджені агенти – це лише один рівень проблеми безпеки штучного інтелекту, яку намагається вирішити портфоліо компанії Ballistic Witness AI . Witness AI стверджує, що відстежує використання штучного інтелекту в усіх підприємствах і може виявляти, коли співробітники використовують несанкціоновані інструменти, блокувати атаки та забезпечувати дотримання вимог.
Цього тижня Witness AI залучила 58 мільйонів доларів завдяки зростанню річних прибутковості (ARR) на понад 500% та збільшила кількість співробітників у 5 разів за останній рік, оскільки підприємства прагнуть зрозуміти використання тіньового штучного інтелекту та безпечно масштабувати його. В рамках залучення коштів Witness AI оголосила про нові засоби захисту агентного штучного інтелекту.
«Люди створюють агентів на базі штучного інтелекту, які беруть на себе повноваження та можливості людей, які ними керують, і ви хочете переконатися, що ці агенти не стають шахрайськими, не видаляють файли, не роблять щось неправильно», – сказав Рік Какча, співзасновник і генеральний директор Witness AI, в інтерв’ю TechCrunch на Equity.
Meftah прогнозує «експоненціальне» зростання використання агентів по всьому підприємству. На додаток до цього зростання – та рівня машинної швидкості атак на основі штучного інтелекту – аналітик Ліза Воррен прогнозує , що до 2031 року ринок програмного забезпечення для безпеки на основі штучного інтелекту стане ринком вартістю від 800 до 1,2 трильйона доларів.
«Я справді вважаю, що спостереження за виконанням та рамки виконання для безпеки та ризиків будуть абсолютно необхідними», — сказав Мефтах.
Щодо того, як такі стартапи планують конкурувати з великими гравцями, такими як AWS , Google , Salesforce та іншими, які вбудували інструменти управління штучним інтелектом у свої платформи, Мефтах сказав: «Безпека штучного інтелекту та безпека агентів настільки важливі», що є місце для багатьох підходів.
Багато підприємств «хочуть окрему платформу, комплексну, щоб по суті забезпечити спостережуваність та управління навколо ШІ та агентів», – сказав він.
Качча зазначив, що штучний інтелект-спостерігач працює на рівні інфраструктури, відстежуючи взаємодію між користувачами та моделями штучного інтелекту, а не вбудовуючи функції безпеки в самі моделі. І це було зроблено навмисно.
«Ми навмисно обрали ту частину проблеми, яку OpenAI не міг легко врахувати», – сказав він. «Тож це означає, що ми більше конкуруємо зі старими компаніями безпеки, ніж зі зразковими хлопцями. Тож питання полягає в тому, як їх перемогти ?»
Зі свого боку, Качча не хоче, щоб Witness AI став одним зі стартапів, які просто поглинуть. Він хоче, щоб його компанія зростала та ставала провідним незалежним постачальником.
« CrowdStrike зробили це в захисті кінцевих точок. Splunk зробили це в SIEM. Okta зробили це в ідентифікації», – сказав він. «Хтось приходить і стає поруч із великими хлопцями… і ми створили Witness для цього з першого дня».