Исследователи Google DeepMind обучили искусственный интеллект играть в "Quake III Arena" лучше живых людей

Игра искусственного интеллекта


Одним из направлений развития систем искусственного интеллекта является улучшение качества и увеличения реалистичности компьютерных игр. В этой области искусственный интеллект может составлять новые карты или управлять действиями неигровых персонажей, которые действуют в манере, практически неотличимой от манеры действия человека. И недавно исследователи из DeepMind, подразделения компании Google, занимающегося искусственным интеллектом, обучили одну из своих систем играть в известную компьютерную игру "Quake III Arena". Через некоторое время, потраченное на тренировки, по уровню игры эта система сначала догнала, а затем и перегнала людей, являющихся наилучшими в этом деле.

Система DeepMind была обучена играть в самый сложный из вариантов, в так называемый "захват флага". При этом, игровая карта менялась на совершенно новую с каждым матчем. ИИ-программа должна была изучить и приспособить к новой карте принципы общей стратегии игры. Части программы, управляющие различными игроками одной команды, должны были сотрудничать друг с другом и конкурировать с игроками команды противника. Кроме этого, программа должна была адаптироваться к стилю и изменениям стиля игры команды противника.

"Наша ИИ-система способна изучить с "чистого листа", как ей необходимо действовать, сотрудничать и конкурировать в абсолютно новой среде" - пишут исследователи, - "Всему этому система научилась точно таким же образом, каким это и делают люди".

Обучение искусственного интеллекта


Каждая часть, управляющая игроком, так называемый "агент", был искусственно мотивирован для достижения конечной цели, захвата флага противника и доставки его на свою базу. Эти агенты обучались, играя друг против друга и против живых людей. Кроме этого для обучения использовались матчи с быстрым и медленным темпом игры, что позволило агентам накопить опыт и выработать свои основные линии поведения.

После обучения команда ИИ-агентов начала побеждать команды людей. В принципе, это и не удивительно, ведь эти агенты более совместимы друг с другом, нежели люди из команды противника. Более того, искусственный интеллект очень быстро перехватывал у людей самые полезные приемы, такие, как выделение игроков для защиты собственной базы, в то время, как остальные игроки штурмуют базу противника.

Пока еще нет информации, может ли такой подход сработать по отношению к более сложным компьютерным играм, таким, как StarCraft и Dota 2. Но если это удастся, то люди-игроки смогут столкнуться с очень изощренным противником, для победы над которым потребуется приложить немало усилий.





Ключевые слова:
Google, DeepMind, Искусственный, Интеллект, Игра, Quake III, Обучение, Человек

Первоисточник

Другие новости по теме:
  • Искусственный интеллект Google DeepMind будет пробовать свои силы на полях сражений компьютерной игры Starcraft
  • Искусственный интеллект OpenAI превзошел лучших людей-игроков всего после двух недель самобучения и тренировок
  • Искусственный интеллект научился составлять новые карты и уровни для компьютерных игр
  • Тренированный искусственный интеллект разнес "в пух и прах" людей в смертельной схватке игры Doom
  • Искусственный интеллект Google DeepMind научился читать по губам лучше, чем любой человек-специалист в этом деле




  • 5 июля 2018 10:08
    #1 Написал: cmp167

    Публикаций: 0
    Комментариев: 0
    ммм, да давно уже есть игры с доступной онлайн статистикой, изучая которую и правильно используя, можно легко превосходить других игроков, у этого есть даже специальный термин, и у игроков название, конечно человек не может держать в памяти миллионы комбинаций, конечно ошибаются все, кто-то больше, кто-то меньше, ну создатут они, пусть даже команду мега-ботов, которые не будут ошибаться и что дальше, люди не пойдут к ним играть раз итог один, и что боты будут сочинять симфонии в свободное время?

    Или комуто будет интересно смотреть на поединок двух таких команд, будет 50/50 или если не сбалансированная карта то чтото другое, но если случайный выбор позиции, то все равно 50/50.

    Помнится в одном сериале такое называлось симуляцией, - ой наш корабль падает на звезду, мы запускаем симулямуцию, которая перебрав 20миллиардов комбинаций найдет лучшее решение, причем тут интелект.
        
    6 июля 2018 11:49
    #2 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 4 332
    Цитата: cmp167
    мы запускаем симулямуцию

    Код которой был написан программистами. Вот в этом случае никаким интеллектом и не пахнет - банальный брутфорс.

    Цитата: cmp167
    причем тут интелект

    хотя бы при этом -
    ИИ-система способна изучить с "чистого листа", как ей необходимо действовать, сотрудничать и конкурировать в абсолютно новой среде


    --------------------
        
    7 июля 2018 02:50
    #3 Написал: cmp167

    Публикаций: 0
    Комментариев: 0
    в абсолютно новой среде


    Пока еще нет информации, может ли такой подход сработать по отношению к более сложным компьютерным играм


    Очень громкое определение новой карты
        
    9 июля 2018 13:36
    #4 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 4 332
    Цитата: cmp167
    Очень громкое определение новой карты

    Почему же? Стиль игры как раз сильно зависит от карты (среды), одно дело "воевать" в тесных коридорах и переходах, а другое дело - на карте с открытым пространством.


    --------------------
        
    11 июля 2018 14:03
    #5 Написал: cmp167

    Публикаций: 0
    Комментариев: 0
    FomaNeverujuwij,
    Может стиль, но это не абсолютно новая среда.

    Когда-то, баловался с движком анриала, с удивлением узнал, что нарисовать карту - это пол дела, а надо еще пути для ботов прописывать. - Первая мысль была найти какой-нибудь макрос или скрипт, чтобы он тупым перебором изучил карту - как в текстовых квестах, пусть займет сутки, к сожалению такого не было тогда, как сейчас не знаю, но в теории с заданным шагом перемещения это возможно, хотя в том же старкрафте юниты способны найти путь до указанной точки самостоятельно. То есть реализовать алгоритмы подбора оружия и аптечек без ии, запросто, как и найти пути захвата флага, найти ключевые точки, или точнее лучшие, для обороны задача чуть сложнее, но вполне решаема без ии, и сводится к поискам точек с максимальным "временем прострела" при следовании по пути захвата с вражеской базы до собственной, а вот если таких точек нет, то тупо стоять возле флага и бабахать с самой большой пушки во врагов при приближении, и убивать их хоть ценой своей смерти, потому, что стратегически выгоднее, потому, что врагам дольше бежать.

    никаким интеллектом и не пахнет - банальный брутфорс

    А вот, кстате, хороший вопрос, где начинается интелект. Допустим подобрать хэш пароля, хэшируя случайные строки - это чистый брутфорс. А делать тоже самое, но обладая неким знанием об алгоритме и коллизии в нем, тем самым упростив себе задачу на несколько порядков, это уже зачаток интелекта, получается. Принимая решения, мы примеряем к задаче определенные паттерны, фактически коллизии, в соответствии с которыми можем найти быстрое решение, иначе брутфорсим задачу - симулируя различные варианты и их последствия.
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.