Мы неправильно обучаем ИИ: большинство систем в реальности не работают

Группа ученых из Google, исследуя эфективность работы ИИ-систем, пришла к выводу, что большинство из них работает некорректно или вовсе неправильно, передает издание technologyreview.com.

Проблема в том, что ИИ-модели получают от создателей "идеальные" данные. Например, системе предлагаются качественные медицинские снимки, проанализировав которые, она должна научиться ставить диагноз. Но в реальной жизни медснимки далеки от совершенства — часто их делают скорую руку, да и качество фото зачастую страдает.

Также при обучении не учитываются такие моменты, как: случайные показатели, данные, о которых нейросеть может не знать, некорректный способ визуализации/демонстрации данных, недостаточное количество тестов. Все это приводит к тому, что искусственный интеллект может упустить мелкие, но важные детали. Например, когда тестировали 50 аналогичных систем, им показывали фото предметов, но некоторые фото были несколько размытыми, некоторые содержали перевернутые изображения. В итоге одинаково точных результатов системы не показали, хотя и были на это запрограммированы. Случалось и так, что полученные результаты противоречили друг другу: некоторые системы, заточенные на распознавание пиксельных изображений, плохо справлялись с контрастными фото.

Исследователи пришли к выводу, что обучать ИИ надо на основе реальных данных или данных, имитирующих реальные. Также они считают, что есть необходимость во внедрении дополнительной ступени обучения и тестирования, когда параллельно тестируют несколько моделей сразу, а по итогам выбирают лучшую под решение конкретного пула задач.