Искусственный интеллект выиграл у киберспортсменов в Dota 2
OpenAI, исследовательская организация по искусственному интеллекту, может претендовать на первое место в мире: ее система ИИ, обученная играть в сложную стратегическую игру Dota 2, превзошла команду-чемпиона мира по киберспорту. Об этом сообщает The Verge. Конкурс "OpenAI Five Finals" проводился 13 апреля в Сан-Франциско.
Соревновались пять лучших профессионалов Dota 2 от команды OG, которая выиграла приз в мире киберспорта в прошлом году – 25 млн долларов, заняв первое место в международном турнире Dota 2. OG встретились в конкурсе "лучший из трех" с пятью ботами OpenAI. Все они обучались с использованием одних и тех же методов глубокого обучения с подкреплением и независимо контролировались различными уровнями одной и той же системы.
Обучение с подкреплением - это метод проб и ошибок к самосовершенствованию, при котором ИИ попадает в игровую среду с нулевым пониманием того, как работает игра, и интенсивно тренируется с использованием систем вознаграждений и других стимулирующих механизмов.
"OpenAI Five основан на глубоком обучении, а это значит, что мы запрограммировали ИИ не на игру, а на обучение. За 10 месяцев существования он уже сыграл 45 000 лет в Dota 2", - заявил соучредитель и председатель OpenAI Грег Брокман.
В первом матче дня OpenAI Five удивили OG своей победой, основанной на ряде агрессивных тактик, включая своеобразное решение потратить заработанную игровую валюту, чтобы мгновенно оживить героев после смерти, даже в начале матча. Как отметил Грег Брокман, OpenAI любит стратегии, которые способствуют краткосрочной выгоде, выявляя недостатки в долгосрочном планировании. В этом матче подобная тактика окупилась и OpenAI Five получил преимущество, которое OG просто не смогла преодолеть, поскольку матч затянулся до 30 минут.
Для OpenAI победа здесь - свидетельство того, что подход к обучению с подкреплением и общая философия об ИИ успешны. Исследовательская группа больше не будет проводить публичные демонстрации своего ИИ-бота, теперь она разрабатывает программное обеспечение, которое позволит людям совместно работать с OpenAI Five в реальном времени, играя в команде с ботами и учась у них необычным, беспрецедентным стратегиям и поведению. Организация также представила платформу для игры против OpenAI Five – Arena.
В OpenAI заявляют, что программное обеспечение для совместной работы может не быть общедоступным. Но, по словам соучредителя и генерального директора OpenAI Сэма Альтмана, этот тип работы свидетельствует о том, что сотрудничество с агентами ИИ может привести к огромным преимуществам в будущем.
"Это важный урок о том, как мир будет работать и обучать подобным вещам. Сотрудничество - это одно из наиболее позитивных представлений о будущем мира - ИИ работает вместе с людьми, чтобы сделать людей лучше, приносить им больше удовольствия и воздействия", - считает Альтман.
OpenAI продолжит играть в Dota 2 и другие игры, в первую очередь потому, что они являются хорошими тестовыми площадками для искусственного интеллекта и инструментами для испытания производительности. Как утверждает Альтман, вероятно, сейчас не существует видеоигры, которую система, подобная OpenAI Five, не смогла бы освоить на уровне, превышающем человеческие возможности.
"OpenAI пытается создать общий искусственный интеллект и делиться этими преимуществами с миром, обеспечивая его безопасность", - прокомментировал Альтман, имея в виду стремление реализовать многоцелевую систему ИИ, способную выполнять любую задачу, которую может выполнить человек.