Абревіатура GPT у ChatGPT — що означають ці три літери

Відтоді як ChatGPT різко став популярним, фраза "генеративний штучний інтелект" звучить майже всюди. Водночас навіть багато активних користувачів не можуть пояснити, що саме означають літери "GPT" — хоча ця абревіатура фактично описує, як працює технологія.

Про це пише SuperCarBlondie.

Що означають літери "GPT" в ChatGPT

Перша літера — G, Generative. Це про здатність системи генерувати новий контент, а не просто знаходити готові відповіді. На відміну від старішого програмного підходу, який переважно шукає або витягує інформацію, генеративний ШІ формує оригінальний текст у відповідь на запит. Тому, якщо попросити рецепт, вірш або пояснення складної теми на кшталт чорних дір, модель щоразу створює новий варіант, спираючись на закономірності, які вивчила.

Друга літера — P, Pre-trained. Ще до публічного запуску наприкінці 2022 року модель навчали на величезних масивах текстів — зокрема на книгах, статтях і матеріалах із вебсайтів, доступних публічно. Під час такого попереднього навчання вона засвоювала граматику, факти, типові логічні патерни та те, як люди зазвичай будують мовлення. Після цього модель додатково донавчали з урахуванням людського зворотного зв'язку, щоб відповіді були кориснішими та менш шкідливими.

Третя літера — T, Transformer. Йдеться про тип архітектури нейромереж, який з'явився у 2017 році. Якщо спростити, трансформер допомагає моделі визначати, які слова у реченні найважливіші та як вони пов'язані між собою. Текст розбивається на невеликі фрагменти — токени — після чого система оцінює їхню "вагу" і прогнозує, що має бути далі. Саме цей механізм передбачення і дає змогу ChatGPT формувати зв'язні абзаци, а не випадковий набір слів.

Источник: novyny.live