В Google нашли идеальную игру для тренировки искусственного интеллекта
Специалисты по искусственному интеллекту Google Research разрабатывают симулятор футбола для тренировки алгоритмов машинного обучения следующего поколения. Попробовать обучить компьютер любимой игре сможет каждый.
Вслед за DeepMind другая команда ИИ-разработчиков Google решила отточить мастерство искусственного интеллекта на видеоиграх. Однако вместо шахмат или Starcraft Brain Team обратила свое внимание на видеоигры с более свободным финалом, в которых существенно больше непредсказуемости. Следующая цель Google Research — компьютерный футбол, пишет MIT Technology Review.
Специалисты создали игру Google Research Football Environment для тестирования алгоритмов в мире, где действуют законы физики и который можно легко настраивать, использовать и бесконечно воспроизводить. Этот сеттинг они сделали доступным по открытой лицензии, чтобы все желающие могли попробовать разработать алгоритмы игры в футбол.
Проблема баланса
Одна из главных проблем, стоящих перед ИИ-исследователями — найти для алгоритмов новую задачу. Незамысловатые видеоигры вроде Pong или Breakout иногда слишком просты для них, и машина превосходит в них человека уже после пары часов обучения. Очень многие игры предсказуемы: они развиваются по одному и тому же пути. Алгоритмам не составляет труда выработать выигрышную стратегию.
Другие игры, вроде Starcraft, наоборот, чересчур трудны, то есть требуют слишком много вычислительных ресурсов на то, чтобы получить релевантные данные для последующей тренировки алгоритмов.
Еще одна проблема в том, что многие потенциально подходящие онлайн-игры работают на лицензионном коде, который нельзя менять или даже увидеть. Так что исследователям сложно понять, как ИИ принимает важные решения, или поэкспериментировать с этим процессом.
Однако в реальной жизни дела обстоят иначе: умение справляться с неожиданными проблемами — важный навык.
Единственный способ научить этому машину — тренировать ее в непредсказуемой, но в то же время контролируемой среде, не слишком простой и не очень сложной. Однако создать такие условия — задача нетривиальная.
Предсказуемые вариации
Специалисты Brain Team создали такой симулятор, предсказуемость которого основана на физике игры. Но в нем есть и множество неожиданных факторов, от тактики оппонентов до неправильного подбора игроков на этапе отбора
За основу они взяли открытый симулятор Gameplay Football, который позволяет проводить футбольные матчи. Затем они модифицировали его, чтобы у ИИ был показатель успеха, отличный от обычных голов. Они случаются редко, и потому по голам сложно отслеживать прогресс алгоритма. Исследователи решили ориентироваться на то, насколько близко машине удалось провести мяч к воротам оппонента.
Обучающийся алгоритм может играть против других машин или против людей. Это дает широкий выбор разнообразных стратегий. И избегает сценариев, в которых ИИ просто изучает слабые стороны оппонента-машины.
Это создает интересную проблему обучения с подкреплением, поскольку футбол требует сохранять баланс между краткосрочным контролем и приобретением таких навыков, как пас, и высокоуровневой стратегией.
В Google не исключают, что, исследуя футбол, ИИ откроет стратегии, которые не приходили в голову людям.