Facebook научил искусственный интеллект создавать рецепт по одному снимку блюда

Лаборатория Facebook AI представила искусственный интеллект, который может по фотографиям еды сгенерировать собственный рецепт приготовления этого блюда. Исследование опубликовано в блоге компании.

Создание рецепта на основе одного изображения блюда требует достаточно сложного устройства алгоритмов. Они должны понять, какие именно ингредиенты есть на снимке, как их обработали, смешали с другими частями блюда и нарезали.

В системе распознавания изображений сейчас находятся миллионы фото еды, на основе которых искусственный интеллект уже может предположить, из чего состоит то или иное блюдо.

Наш метод начинается с предварительной подготовки кодера изображения и декодера ингредиентов, который предсказывает набор ингредиентов, используя визуальные особенности блюда, извлеченные из изображения, а также совместное использование этих ингредиентов. Затем мы обучаем кодировщик ингредиентов и декодер команд, которые генерируют заголовок и инструкции по приготовлению блюда. Facebook AI

Разработчики отмечают, что сервисы распознавания еды по фотографиям бросают вызов многим системам компьютерного зрения из-за своей высокой сложности.

Помимо того, что нейросеть должна быть обучена многим вещам, например, что внутри круассана может быть масло или джем, хотя визуального это понять невозможно, искусственный интеллект должен понимать, что во время приготовления блюд возникает деформация продуктов, а сами пищевые компоненты могут взаимодействовать друг с другом.