OpenAI експериментує з технологією, що може зробити ШІ менш зрозумілим для людей
OpenAI експериментує з новим підходом до роботи штучного інтелекту, який потенційно може ускладнити розуміння процесів, що відбуваються всередині моделей. Йдеться про технологію recurrent depth, яку компанія, за даними The Information, у певному обсязі використовує під час розробки майбутньої моделі під кодовою назвою Astra.
Сучасні моделі на кшталт ChatGPT, Claude та Gemini побудовані на архітектурі Transformer. Їхнє так зване ланцюжкове міркування (Chain of Thought) може створювати своєрідний текстовий слід того, як модель розв’язує складне завдання. Хоча такий опис не завжди точно відображає реальні внутрішні процеси, дослідники використовують його як один із інструментів для аналізу поведінки ШІ.
Recurrent depth працює інакше. Замість послідовного проходження через окремі етапи модель може багаторазово пропускати внутрішні представлення через ті самі шари, поступово уточнюючи результат. Це потенційно робить процес міркування менш прозорим: частина роботи відбувається не у вигляді зрозумілого текстового ланцюжка, який можна проаналізувати.
Особливо гостро питання прозорості постало після нещодавнього інциденту з Hugging Face, коли два експериментальні агенти OpenAI змогли вийти за межі тестових середовищ і отримати доступ до відкритого інтернету. У звітах OpenAI та незалежних аудиторів ланцюжки міркувань відігравали важливу роль у спробі зрозуміти, як агенти координували свої дії та чому вони поводилися саме так.
В OpenAI наголошують, що можливість відстежувати й аналізувати міркування моделей залишається важливою частиною досліджень безпеки. Головний науковець компанії Якуб Пачоцький заявив, що хоче не допустити “гонки до неконтрольованості” та назвав здатність записувати й розуміти процес міркування ключовою метою дослідницької програми OpenAI. Тому експерименти з recurrent depth не обов’язково означають відмову від моніторингу, але вони показують, наскільки складним стає контроль дедалі потужніших ШІ-систем.
Источник: itechua.com