ШІ вже може писати вірші, але йому важко впоратися з математикою

Чат-боти , як-от ChatGPT від Open AI, можуть писати вірші, узагальнювати книги та відповідати на запитання, часто на рівні людини. Ці системи можуть виконувати математику на основі того, що вони навчилися, але результати можуть відрізнятися та бути неправильними. Вони точно налаштовані для визначення ймовірностей, а не для обчислень на основі правил. Імовірність — це не точність , а мова є більш гнучкою та поблажливою, ніж математика.

«Чат-боти зі штучним інтелектом мають труднощі з математикою, тому що вони ніколи не були створені для цього», — сказав Крістіан Хаммонд, професор інформатики та дослідник штучного інтелекту в Північно-західному університеті.

Схоже, найрозумніші комп’ютерники світу створили штучний інтелект, який більше займається ліберальними мистецтвами, ніж цифрами.

На перший погляд, це різкий розрив з комп’ютерним минулим. З тих пір, як перші комп’ютери з’явилися в 1940-х роках, гарним коротким визначенням обчислювальної техніки було «математика на стероїдах». Комп’ютери були невтомними, швидкими, точними обчислювальними машинами. Комп’ютери вже давно справді вправні в обчисленні цифр, які набагато перевищують продуктивність людини.

Традиційно комп’ютери були запрограмовані на дотримання покрокових правил і отримання інформації зі структурованих баз даних. Вони були потужні, але крихкі. Тож минулі спроби штучного інтелекту натрапили на стіну.

Проте більше десяти років тому з’явився інший підхід , який почав приносити вражаючі успіхи. Основна технологія, яка називається нейронною мережею, приблизно змодельована на основі людського мозку.

Цей тип штучного інтелекту не запрограмований за жорсткими правилами, а вчиться, аналізуючи величезні масиви даних. Він генерує мову на основі всієї інформації, яку він поглинув, передбачаючи, яке слово чи фраза, швидше за все, буде наступним — так само, як це роблять люди .

«Ця технологія робить чудові речі, але не все», — сказав доктор Хаммонд. «Усі хочуть, щоб відповідь на ШІ була одна. Це безглуздо».

Іноді чат-боти штучного інтелекту стикаються з простими арифметичними та математичними текстовими проблемами, які вимагають кількох кроків, щоб знайти рішення, про що нещодавно задокументували деякі рецензенти технологій. Вміння ШІ покращується, але він залишається недоліком.

Виступаючи на недавньому симпозіумі, Крістен ДіКербо, головний спеціаліст з навчання Khan Academy, освітньої некомерційної організації, яка експериментує з репетитором і помічником викладача чат-бота ШІ, представила тему точності математики. «Це проблема, як багато хто з вас знає», — сказав викладачам д-р ДіКербо.

Кілька місяців тому Khan Academy внесла суттєві зміни в свого репетитора на основі ШІ під назвою Khanmigo. Він надсилає багато числових задач програмі-калькулятору замість того, щоб попросити штучний інтелект розв’язати математику. Чекаючи на завершення роботи програми-калькулятора, учні бачать на своїх екранах слова «займаюся математикою» та піктограму Khanmigo, яка хитає головою.

«Насправді ми використовуємо інструменти, призначені для математики», — сказав д-р ДіКербо, який залишається оптимістом щодо того, що розмовні чат-боти відіграватимуть важливу роль у навчанні.

Понад рік ChatGPT використовував подібне вирішення деяких математичних задач. Для таких завдань, як ділення та множення великих чисел, чат-бот викликає допомогу від програми-калькулятора.

Математика є «важливою постійною сферою досліджень», — йдеться у заяві OpenAI, і сферою, де вчені досягли стабільного прогресу. За словами компанії, нова версія GPT досягла майже 64-відсоткової точності в загальнодоступній базі даних тисяч проблем, які потребують візуального сприйняття та математичних міркувань. Це більше ніж 58 відсотків у попередній версії.

Чат-боти штучного інтелекту часто досягають успіху, коли використовують величезну кількість відповідних навчальних даних — підручників, вправ і стандартизованих тестів. Ефект полягає в тому, що чат-боти бачили й аналізували дуже схожі, якщо не ті самі, запитання раніше. Згідно з даними компанії, остання версія технології, яка лежить в основі ChatGPT, набрала 89-й процентиль у тесті SAT з математики для учнів середньої школи.

Нестабільна продуктивність технології в математиці додає ґрунту жваві дебати в спільноті штучного інтелекту щодо найкращого шляху вперед у цій галузі. Загалом, є два табори.

З одного боку ті, хто вірить, що розвинені нейронні мережі, відомі як великі мовні моделі, потужні чат-боти штучного інтелекту — це майже єдиний шлях до стабільного прогресу та, зрештою, до штучного загального інтелекту, або AGI, комп’ютера, який може робити все, що завгодно людському мозку. можна зробити. Це домінуючий погляд у більшості Кремнієвої долини.

Але є скептики, які сумніваються, чи достатньо додати більше даних і обчислювальної потужності до великих мовних моделей. Видатним серед них є Янн ЛеКун, головний науковий співробітник Meta.

Великі мовні моделі, за словами доктора Лекуна , погано розуміють логіку та не мають здорового глузду. Він наполягає на тому, що потрібен ширший підхід, який він називає «моделюванням світу», або системи, які можуть вивчати, як працює світ, так само як це роблять люди. І для цього може знадобитися десятиліття або близько того.

Тим часом Meta впроваджує програмне забезпечення розумного помічника на основі штучного інтелекту у своїх соціальних мережах, включаючи Facebook, Instagram і WhatsApp, на основі своєї великої мовної моделі LLaMA. Нинішні моделі можуть мати недоліки, але вони все одно роблять багато.

Девід Ферруччі очолював команду, яка розробила знаменитий комп’ютер IBM Watson, який переміг найкращий людський «Jeopardy!» гравців у 2011 році. Як і більшість комп’ютерників, доктор Ферруччі вважає новітню технологію штучного інтелекту безперечно разючою — але головним чином завдяки її мовним навичкам, а не точності. Його стартап Elemental Cognition розробляє програмне забезпечення для покращення процесу прийняття бізнес-рішень у таких сферах, як фінанси, подорожі та відкриття ліків. Він використовує великі мовні моделі як один інгредієнт, але також більше програмного забезпечення, заснованого на правилах.

Це структуроване програмне забезпечення, за словами доктора Ферруччі, є обчислювальною інфраструктурою, яка наразі керує більшістю основних світових систем, таких як банківська справа, ланцюги постачання і управління повітряним рухом. «Для багатьох справді важливих речей потрібна болісна точність», — сказав він.

Кірк Шнайдер, учитель математики середньої школи з Нью-Йорка, каже, що вважає вторгнення чат-ботів ШІ в освіту неминучим. Адміністратори шкіл можуть спробувати їх заборонити, але учні збираються ними користуватися, сказав він.

Але пан Шнайдер має певні сумніви. «Зазвичай у них все добре, але зазвичай недостатньо добре в математиці. Це має бути точно», – сказав він. «Це має бути правильно».

Ці випадкові помилки, однак, виявилися можливістю для навчання. Пан Шнайдер часто ділить свої класи на невеликі групи студентів, і відповіді чат-бота можуть стати центром обговорення. Порівняйте свою відповідь із відповіддю бота. Хто правий? Як кожен із вас дійшов до свого рішення?

«Це вчить їх дивитися на речі критичним оком і загострює критичне мислення», — сказав він. «Це схоже на те, щоб запитати іншу людину — вона може мати рацію, а може й помилятися».

Здається, це життєвий урок для його учнів, про який варто пам’ятати ще довго після того, як вони забудуть теорему Піфагора: не вірте всьому, що говорить вам програма ШІ. Не надто довіряйте цьому.