У різних застосунках і середовищах. Microsoft представила відкритий стандарт для контролю ШІ-агентів

Про це пише видання TechCrunch.

У міру того, як ШІ-агенти стають дедалі складнішими, компанії все активніше використовують їх у застосунках, робочих процесах і продуктах. Водночас виникає проблема контролю їхньої поведінки після розгортання в різних системах.

Для вирішення цього завдання Microsoft створила відкритий стандарт Agent Control Specification. Він дає розробникам, фахівцям із безпеки та скарг можливість визначати правила, яких мають дотримуватися агенти.

Такі правила можуть встановлювати, які дії агенту дозволені, які заборонені, коли потрібне схвалення людини та які дані необхідно зберігати для подальшої перевірки. Ці політики перевіряються в кількох контрольних точках під час виконання агентом завдань, щоб він не виходив за встановлені межі.

Поява специфікації пов’язана з тим, що розробники зараз використовують різні способи контролю роботи ШІ. Останнім часом дедалі більше уваги привертають випадки, коли агенти помиляються через неправильне використання інструментів або виконують небажані дії, що спричиняють подальші збої.

Зараз розробники часто додають інструкції до системних підказок, створюють власні перевірки в коді або використовують класифікатори для виявлення проблемних запитів і відповідей. Проте такі рішення часто залишаються розрізненими, їх складно перевіряти та повторно використовувати в різних системах і фреймворках.

У Microsoft заявили, що ACS створює єдиний рівень керування такими механізмами. Специфікація дозволяє перевіряти дотримання правил до отримання вхідних даних, перед викликом інструмента, після отримання результату від нього та перед надсиланням фінальної відповіді користувачу.

Політика може дозволити або заблокувати дію, приховати конфіденційну інформацію чи вимагати підтвердження від людини.

Також розробники можуть додавати класифікатори для аналізу вхідних і вихідних даних, прогнозування результатів або визначення способу реагування агента. Крім того, можна використовувати великі мовні моделі як своєрідних «суддів» для оцінки дотримання політик, а також перевіряти виклики інструментів, правильність даних і використання результатів.

Оскільки політики можна зберігати в одному файлі, їх можна переносити разом із агентом між різними середовищами та фреймворками.

Microsoft випускає ACS у вигляді SDK із підтримкою таких платформ, як LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI та інших інструментів.