Студентів у Техасі, які цього тижня складають обов’язкові для штату іспити, використовують як піддослідних кроликів для нової системи підрахунку балів на основі штучного інтелекту, яка замінить більшість оцінювачів у цьому регіоні.
Техас замінює тисячі оцінювачів іспитів на штучний інтелект
Дмитро Сизов
Texas Tribune повідомляє, що «автоматизований механізм підрахунку балів», який використовує обробку природної мови — технологію, яка дозволяє чат-ботам, таким як ChatGPT OpenAI, розуміти користувачів і спілкуватися з ними — розгортається Техаським освітнім агентством (TEA) для оцінювання відкритих запитань на іспити Оцінки академічної готовності штату Техас (STAAR). Агентство очікує, що система заощадить 15–20 мільйонів доларів на рік за рахунок скорочення потреби у тимчасових спеціалістах, плануючи найняти менше 2000 оцінювачів цього року порівняно з 6000, необхідних у 2023 році.
Іспити STAAR, які перевіряють розуміння учнями третього та восьмого класів основної навчальної програми, минулого року були перероблені, щоб включити менше запитань із варіантами відповідей. Тепер він містить у сім разів більше відкритих запитань, а директор TEA з оцінювання студентів Хосе Ріос сказав, що агентство «хотіло зберегти якомога більше створених відкритих відповідей, але вони потребують неймовірно багато часу, щоб оцінка».
Відповідно до слайд-шоу, розміщеного на веб-сайті TEA , нова система підрахунку балів була навчена з використанням 3000 відповідей на іспит, які вже отримали два раунди людської оцінки. Також було впроваджено деякі системи безпеки — наприклад, чверть усіх результатів, оцінених комп’ютером, буде повторно оцінено людьми, як і відповіді, які заплутують систему штучного інтелекту (включно з використанням сленгу чи відповідей не англійською мовою).
Хоча TEA оптимістично налаштований, що штучний інтелект дозволить заощадити гроші, деякі викладачі не надто зацікавлені в його реалізації. Керівник незалежного шкільного округу Льюїсвілл Лорі Рапп сказала, що в її окрузі спостерігалося «різке збільшення» сконструйованих відповідей, які отримали нульовий бал, коли автоматизована система оцінювання використовувалася в обмеженій основі в грудні 2023 року. «Наразі ми не можемо визначити, чи є щось не так із тестовим запитанням чи це нова автоматизована система підрахунку балів», — сказав Рапп.
Механізми підрахунку есе ШІ не є чимось новим. У звіті Motherboard за 2019 рік було виявлено, що вони використовуються принаймні в 21 штаті з різним ступенем успіху, хоча TEA, здається, має намір уникнути такої репутації. Дрібним шрифтом у слайд-шоу TEA також наголошується, що його новий механізм підрахунку балів є закритою системою, яка за своєю суттю відрізняється від штучного інтелекту тим, що «штучний інтелект — це комп’ютер, який використовує прогресивні алгоритми навчання для адаптації, дозволяючи даним виконувати програмування та, по суті, навчати себе».
Спроба провести межу між ними не дивна — немає браку вчителів, які розпачуються в Інтернеті про те, як генеративні служби штучного інтелекту використовуються для обману завдань і домашніх завдань. Учням, які оцінюються за цією новою системою оцінювання, може бути важко прийняти, як вони вважають, що тут застосовуються «правила для вас, а не для мене».