ШІ може почати вдосконалювати сам себе: вчені назвали найнебезпечніший сценарій

Системи штучного інтелекту можуть у майбутньому взяти на себе значну частину роботи зі створення нових моделей і різко прискорити власний розвиток. Дослідники попереджають, що за найгіршого сценарію люди можуть втратити контроль над такими системами, хоча наголошують, що цей розвиток подій не є неминучим.

Про це пише The Wall Street Journal.

Автори дослідження звернули увагу, що сучасні ШІ-системи вже активно використовують для створення наступних поколінь штучного інтелекту. У деяких компаніях вони пишуть значну частину коду та виконують інші завдання, пов’язані з розробкою моделей.

Науковці припускають, що протягом кількох років ШІ може автоматизувати більшу частину досліджень і розробки у власній галузі. У крайньому випадку автоматизованим може стати майже весь цикл створення нових систем.

Тоді одна модель допомагатиме створювати потужнішу наступну, а та прискорюватиме розробку ще новіших версій. Такий гіпотетичний процес дослідники називають «інтелектуальним вибухом».

Основним ризиком вони називають ситуацію, коли можливості ШІ зростатимуть швидше, ніж люди зможуть аналізувати нові системи та пристосовувати до них механізми контролю. У такому разі фахівцям буде складніше своєчасно знаходити помилки та розуміти, як саме працюють нові моделі.

За найгіршого сценарію, попереджають дослідники, людство може втратити контроль над системами, які перевершуватимуть людей за багатьма інтелектуальними можливостями. Серед крайніх потенційних наслідків вони називають маргіналізацію людства або навіть його вимирання, однак ідеться саме про ризиковий сценарій, а не прогноз.

Швидкий розвиток ШІ також може вплинути на баланс між державами, технологічними компаніями та регуляторами. Якщо можливості нових систем змінюватимуться надто швидко, чинні механізми нагляду можуть не встигати за технологіями.

До роботи над оцінкою ризиків долучилися представники провідних технологічних компаній і відомі дослідники ШІ. Серед них названі головний науковець OpenAI Якуб Пачоцький, співзасновник Anthropic Джек Кларк, головний науковий директор Microsoft Ерік Горвіц, віцепрезидентка Meta з досліджень ШІ Доун Сонг, а також Джеффрі Гінтон і Йошуа Бенжіо.

Anthropic повідомляла, що Claude вже виконує близько 26% дослідницької та проєктної роботи компанії. В окремих видах завдань ця система використовується більш ніж у 90% випадків.

OpenAI, своєю чергою, планує до 2028 року створити повністю автоматизованого ШІ-дослідника. Саме швидке збільшення частки роботи, яку системи виконують під час створення нових моделей, стало однією з причин закликів до більшого контролю.

Дослідники пропонують урядам отримувати більше інформації про те, наскільки розробники вже автоматизували створення власних ШІ-систем. Серед можливих заходів вони називають незалежний нагляд, більшу прозорість та механізми уповільнення розвитку у випадку небезпечного прискорення.

Окремо пропонується розробляти міжнародні механізми контролю та заздалегідь готувати суспільство до можливих різких технологічних змін. Водночас автори визнають, що швидший розвиток ШІ може принести й значні переваги, зокрема прискорити появу нових технологій.

Источник: enovosty.com