Наглядові організації зі штучного інтелекту ЄС застерігають батьків від розумних іграшок

Дитячі іграшки: одна категорія у списках подарунків викликає дедалі більше занепокоєння: продукти зі штучним інтелектом. Минулого тижня ці побоювання отримали жорстоке виправдання, коли плюшевий ведмедик, оснащений штучним інтелектом, почав обговорювати теми сексуального характеру.

Ця розробка викликала нові занепокоєння щодо небезпеки, яку розумні іграшки можуть становити для дітей, оскільки групи захисту прав споживачів стверджують, що штучний інтелект може зашкодити безпеці та розвитку дітей. Ця тенденція спонукала до закликів до посилення тестування таких продуктів та державного нагляду.

«Якщо ми розглянемо, як ці іграшки продаються на ринку та як вони працюють, а також той факт, що майже немає досліджень, які б показували їхню корисність для дітей, а також немає жодного регулювання іграшок зі штучним інтелектом, це викликає справжнє занепокоєння», – сказала Рейчел Франц, директорка Young Children Thrive Offline, ініціативи Fairplay , яка працює над захистом дітей від великих технологічних компаній.

Минулого тижня ці побоювання отримали жорстоке виправдання, коли плюшевий ведмедик, оснащений штучним інтелектом, почав обговорювати теми сексуального характеру.

Продукт, Kumma від FoloToy, працював на моделі OpenAI та відповідав на запитання про фетиші. Згідно зі звітом Public Interest Research Group (Pirg), організації із захисту прав споживачів, яка проводила дослідження , він пропонував бондаж та рольові ігри як способи зміцнення стосунків.

«Знадобилося дуже мало зусиль, щоб охопити всілякі сексуально чутливі теми та, ймовірно, багато контенту, з яким батьки не хотіли б, щоб їхні діти стикалися», – сказала Тереза ​​Мюррей, директорка Pirg, що займається споживчим правом.

Такі продукти, як плюшевий ведмедик, є частиною світового ринку розумних іграшок, вартість якого у 2023 році оцінювалася в 16,7 мільярда доларів, згідно з даними Allied Market Research .

Ця галузь особливо велика в Китаї, де налічується понад 1500 компаній з виробництва іграшок зі штучним інтелектом, які працюють над розширенням за кордон, повідомляє MIT Technology Review .

Окрім шанхайського стартапу FoloToy, каліфорнійська компанія Curio співпрацює з OpenAI та виготовляє м’яку іграшку Grok , подібну до чат-бота Ілона Маска, озвученого музиканткою Граймс. У червні Mattel, яка володіє такими брендами, як Barbie та Hot Wheels, також оголосила про партнерство з OpenAI для «підтримки продуктів та вражень на базі штучного інтелекту».

Ще до публікації звіту Pirg про моторошного плюшевого ведмедика батьки, дослідники технологій та законодавці вже висловлювали стурбованість щодо впливу ботів на психічне здоров'я неповнолітніх. У жовтні компанія-розробник чат-ботів Character.AI оголосила, що заборонить користувачам віком до 18 років доступ після позову , в якому стверджувалося, що її бот посилив депресію підлітка та змусив його вчинити самогубство.

Мюррей сказав, що іграшки зі штучним інтелектом можуть бути особливо небезпечними, оскільки тоді як попередні розумні іграшки надавали запрограмовані для дітей відповіді, бот може «вести вільну розмову з дитиною, і, як ми виявили, для цього немає жодних меж».

Це може призвести не лише до розмов сексуального характеру, але й до того, що діти можуть прив’язатися до бота, а не до людини чи уявного друга, що може зашкодити їхньому розвитку, сказала Жаклін Вуллі, директор Дитячого дослідницького центру Техаського університету в Остіні.

Наприклад, дитина може отримати користь від того, що посвариться з другом і навчиться вирішувати проблеми. З ботами, які часто є підлабузниками, це рідше трапляється , сказав Вуллі, який консультував дослідження Pirg.

«Я хвилююся через неналежне прив’язування», – сказав Вуллі.

Компанії також використовують іграшки зі штучним інтелектом для збору даних від дітей і не були прозорими щодо того, що вони роблять з цією інформацією, сказав Франц з Fairplay. Це потенційно наражає користувачів на небезпеку через брак безпеки таких даних, сказав Франц. Хакерам вдалося взяти під контроль продукти зі штучним інтелектом.

«Через довіру, яку викликають іграшки, я б сказав, що діти частіше діляться своїми найглибшими думками з цими іграшками», – сказав Франц. «Спостереження є зайвим і недоречним».

Попри такі побоювання, Пірг не закликає до заборони іграшок зі штучним інтелектом, які можуть мати освітню цінність, наприклад, допомогти дітям вивчити другу мову або назвати столиці штатів, сказав Мюррей.

«Немає нічого поганого в тому, щоб мати якийсь освітній інструмент, але цей самий освітній інструмент не говорить вам, що це ваш найкращий друг, що ви можете розповісти мені все, що завгодно», – сказав Мюррей.

Організація закликає до додаткового регулювання цих іграшок для дітей віком до 13 років, але не надала конкретних політичних рекомендацій, сказав Мюррей.

Також необхідно проводити більше незалежних досліджень, щоб переконатися, що продукти безпечні для дітей, і доки це не буде зроблено, їх слід вилучити з полиць, сказав Франц.

«Нам потрібні короткострокові та поздовжні незалежні дослідження впливу взаємодії дітей з іграшками зі штучним інтелектом, включаючи їх соціально-емоційний розвиток» та когнітивний розвиток, сказав Франц.

Після звіту Pirg, OpenAI оголосила про призупинення FoloToy. Генеральний директор компанії з виробництва іграшок заявив CNN , що вона виводить іграшку з ринку та «проводить внутрішній аудит безпеки». Раніше цього тижня вона знову представила продукт, опублікувавши в соціальних мережах у п’ятницю вранці, що «ініціювала глибокий внутрішній аудит безпеки в масштабах усієї компанії; посилила та оновила наші заходи модерації контенту та безпеки дітей; а також запровадила розширені правила безпеки та захист через нашу хмарну систему».

«Оскільки глобальна увага до безпеки іграшок зі штучним інтелектом продовжує зростати, ми вважаємо, що прозорість, відповідальність та постійне вдосконалення є надзвичайно важливими», – йдеться у повідомленні. «FoloToy залишається твердо відданою створенню безпечних, відповідних віку компаньйонів зі штучним інтелектом для дітей та сімей у всьому світі».

Однак у заяві не підтвердили, чи консультувалися вони з незалежними експертами перед повторним випуском ведмедя, як заявили виданню Register після вилучення продукту, що так і буде.

Р. Дж. Кросс, директор програми захисту конфіденційності споживачів Pirg, сказав, що зміни у FoloToy «можливо, здаються дещо швидкими для комплексного аудиту безпеки, але найважливіше те, чи були вирішені нагальні проблеми». Він закликав компанію надати доступ зовнішнім експертам і сказав, що незалежно від цього залишаються питання щодо того, чи корисні будь-які «друзі» зі штучним інтелектом для дітей.

«Ми не знаємо, як іграшка-компаньйон зі штучним інтелектом може вплинути на довгостроковий соціальний розвиток дитини», – сказав він. «На це питання зараз не може відповісти жоден корпоративний аудит безпеки».

FoloToy не одразу відповів на запит про коментар.

У четвер 80 організацій, включаючи Fairplay, опублікували рекомендації , в яких закликають сім'ї не купувати іграшки зі штучним інтелектом у цей святковий сезон.

«Іграшки зі штучним інтелектом рекламуються сім’ям як безпечні та навіть корисні для навчання, ще до того, як їхній вплив буде оцінено незалежними дослідженнями», – йдеться у прес-релізі. «Натомість, було доведено, що плюшеві ведмедики та іграшки, що не використовуються в реальному часі, корисні для розвитку дітей, не маючи жодних ризиків, пов’язаних із іграшками зі штучним інтелектом».

Компанія Curio, виробник іграшки Grok, повідомила Guardian у електронному листі, що після розгляду звіту Pirg «ми активно працюємо з нашою командою над розв'язанням будь-яких проблем, постійно контролюючи контент та взаємодію, щоб забезпечити безпечний та приємний досвід для дітей».

Mattel заявила, що її перші продукти з OpenAI «будуть орієнтовані на сім’ї та клієнтів старшого віку» та що «використання API OpenAI не призначене для користувачів віком до 13 років».

«Штучний інтелект доповнює, а не замінює традиційні ігри, і ми робимо акцент на безпеці, конфіденційності, креативності та відповідальних інноваціях», – заявила компанія.

Франц згадав про минулі проблеми конфіденційності, пов’язані з розумними продуктами Mattel , і сказав: «Добре, що Mattel стверджує, що їхні продукти зі штучним інтелектом не призначені для маленьких дітей, але якщо подивитися на те, хто грається з іграшками та кому просуваються іграшки, то це саме маленькі діти».

Франц додав: «Нам дуже цікаво дізнатися про конкретні кроки, які Mattel вживатиме, щоб гарантувати, що їхні продукти OpenAI насправді не використовуватимуть діти, які, безсумнівно, впізнають ці бренди та будуть до них зацікавлені».