Чат-бот Amazon Q дає шкідливі поради та охоче ділиться корпоративними секретами
Чат-бот Amazon Q не відповідає заявам виробника про підвищений захист даних користувачів: він допустив витік координат ЦОД AWS. ШІ-помічник також дає невірні та потенційно шкідливі відповіді на запити щодо юридичної та іншої важливої інформації.
ЗМІ стало доступне внутрішнє листування співробітників Amazon, в якому вони обговорювали проблеми чат-бота Q, якого нещодавно представила компанія. На презентації розробники заявили, що відповідально підійшли до питання безпеки продукту, особливо захисту даних. Передбачалося, що Q не допустить витоку важливої інформації, тому що не використовуватиме дані від клієнтів Amazon для навчання.
Насправді справи інакше: бот розкриває навіть секрети самого Amazon, наприклад, розповідає, де знаходяться центри обробки даних компанії. Він також повідомляє користувачам про майбутні продукти AWS, які офіційно не анонсували. Це особливо іронічно, враховуючи, що Q створювався як корпоративний продукт, який зможе покластися великий і середній бізнес.
ШІ-помічник схильний до галюцинацій не менше, ніж інші моделі подібного роду. Іноді Q дає невірні та потенційно небезпечні відповіді на делікатні питання, пов'язані з правом, фінансами, медициною та аналізом ринків. За словами співробітника Amazon, деякі відповіді з юридичних питань могли б довести справжніх правознавців до серцевого нападу.
В Amazon заперечують факт витоку та кажуть, що не знайшли проблем із безпекою. Представники компанії зазначають, що їх співробітник говорив про теоретично можливі, а не про ситуації, що відбулися. «Ми цінуємо весь той зворотний зв'язок, що отримали, і продовжуватиме доопрацьовувати Q, який переходить із стадії попереднього перегляду до загального доступу». - сказали вони.
Amazon Q зараз доступний для безкоштовного попереднього використання. Його позиціонують як більш безпечну та точну версію ChatGPT для корпоративних клієнтів. Незабаром він зможе редагувати код та наводити джерела процитованої інформації. Коштуватиме продукт буде дешевше за конкурентів: $20 замість $30 за схожі пропозиції інших компаній.