Машинско учење у видео играма

Машинско учење у видео играма изузетно је заступљено у контексту машинског учења као подскупа вјештачке интелигенције који користи историјске податке за израду предиктивних и аналитичких модела. Ово се значајно разликује од традиционалних метода вјештачке интелигенције, као што су стабла претраге и експертски системи. Вјештачка интелигенција и технике машинског учења користе се у видео играма за широк спектар примјена, попут управљања ликовима који нису играчи (NPC) и процедуралног генерисања садржаја (PCG).

Информације о техникама машинског учења у области игара углавном су доступне јавности кроз истраживачке пројекте, јер већина компанија за игре не жели да објављује специфичне информације о свом интелектуалном власништву. Најпознатија јавна примјена машинског учења у играма вјероватно је употреба агената дубоког учења који се такмиче с професионалним људским играчима у сложеним стратешким играма. Значајна примјена машинског учења забиљежена је у играма као што су Аtari/ALE, Doom, Minecraft, StarCraft и аутомобилске трке. Друге игре које првобитно нису настале као видео игре, попут шаха и Го-а, такође су биле под утицајем машинског учења.

Преглед релевантних техника машинског учења

Дубоко учење Дубоко учење је подскуп машинског учења који се интензивно фокусира на коришћење вјештачких неуронских мрежа (АNN) које уче да рјешавају сложене задатке. Дубоко учење користи више слојева вјештачких неуронских мрежа и друге технике за постепено извлачење информација из улазних података. Због овог сложеног слојевитог приступа, модели дубоког учења често захтјевају снажне машине за обуку и покретање.

Конволуцијске неуронске мреже Конволуцијске неуронске мреже (CNN) су специјализоване вјештачке неуронске мреже (АNN) које се често користе за анализу сликовних података. Ове врсте мрежа могу да уче обрасце који су независни од њихове позиције, познате као транслационо инваријантни обрасци.CNN-ови уче ове обрасце хијерархијски, што значи да ранији конволуциони слојеви уче мање локалне обрасце, док каснији слојеви уче веће обрасце на основу претходних. Способност CNN-ова да уче визуелне податке учинила их је уобичајеним алатом за дубоко учење у играма.

Рекурентне неуронске мреже Рекурентне неуронске мреже (RNN) су тип вјештачких неуронских мрежа (АNN) дизајнираних за обраду секвенци података редом, дио по дио, умјесто свих одједном. RNN обрађује сваки дио секвенце користећи тренутни дио секвенце заједно са сјећањем на претходне дијелове исте секвенце како би произвео излаз. Ове врсте неуронских мрежа су веома ефикасне за задатке попут препознавања говора и других проблема који у великој мјери зависе од временског редослиједа. Постоји неколико врста RNN-а са различитим унутрашњим конфигурацијама; основна имплементација пати од недостатка дугорочне меморије због проблема нестајућег градијента, те се стога ријетко користи у односу на новије имплементације.

Дуга краткорочна меморија Мрежа са дугом краткорочном меморијом (LSTM) је специфична имплементација RNN-а која је осмишљена да рјешава проблем нестајућег градијента присутан у једноставним RNN-овима, гдје би мрежа постепено "заборављала" претходне дијелове улазне секвенце приликом израчунавања излаза за тренутни дио. LSTM рјешава овај проблем додатним сложеним системом који користи додатни улаз/излаз за праћење дугорочних података. LSTM је постигао изузетно добре резултате у различитим областима и коришћен је у неколико значајних агената дубоког учења у играма.

Подржано учење Подржано учење је процес обучавања агента помоћу награда и/или казни. Начин на који се агент награђује или кажњава у великој мјери зависи од проблема, на примјер, давањем позитивне награде агенту за побједу у игри или негативне за губитак. Учење појачањем се интензивно користи у области машинског учења и може се примијетити у методама попут Q-учења, дубоких Q-мрежа и других. Овај приступ је показао снажне резултате како у области игара, тако и у роботици.

Неуроеволуција Неуроеволуција подразумијева коришћење и неуронских мрежа и еволутивних алгоритама. Умјесто да користи градијентни спуст као већина неуронских мрежа, модели неуроеволуције користе еволутивне алгоритме за ажурирање неурона у мрежи. Истраживачи тврде да је овај процес мање склон заглављивању у локалном минимуму и потенцијално бржи од савремених техника дубоког учења.

Агенти дубоког учења Агенти машинског учења коришћени су да замијене људске играче, умјесто да функционишу као NPC-ови, који се намјерно додају у видео игре као дио дизајнираног играња. Агенти дубоког учења постигли су импресивне резултате када су коришћени у такмичењу са људима и другим агентима вештачке интелигенције.

Шах Шах је стратешка игра са потезима која се сматра тежим проблемом за вјештачку интелигенцију због рачунарске сложености њеног простора на табли. Сличне стратешке игре често се рјешавају неким обликом претраге Минимакс стабла. Ови типови АИ агената познати су по томе што су побиједили професионалне људске играче, попут историјског меча 1997. године између Deep Blue-a и Герија Каспарова. Од тада, агенти машинског учења су постигли још већи успјех у односу на претходне агенте вјештачке интелигенције.

Го Го је још једна стратешка игра са потезима која се сматра још тежим проблемом за вјештачку интелигенцију од шаха. Простор стања у Го има око 10^170 могућих стања табле, у поређењу са 10^120 стања табле у шаху. Прије него што су развијени савремени модели дубоког учења, АИ агенти за Го су могли да играју само на нивоу људских аматера.

АlphaGo Google-ов AlphaGo из 2015. године био је први АИ агент који је побиједио професионалног играча Го-а. АlphaGo је користио модел дубоког учења за обуку тежина претраге Монте Карло стабла (МCTS). Модел дубоког учења се састојао од двије неуронске мреже: мреже политике која предвиђа вјероватноће могућих потеза од стране противника и мреже вриједности која предвиђа шансе за побједу у датом стању. Модел дубоког учења омогућава агенту да ефикасније истражује потенцијална стања игре него обичан MCTS. Мреже су иницијално обучене на играма људских играча, а затим су даље обучаване играма против самог себе.

AlphaGo Zero AlphaGo Zero, још једна имплементација AlphaGo игре, био је у могућности да се потпуно обучи играјући против самог себе и био је у стању да брзо достигне способности претходног агента.

Alpha Zero AlphaZero је модификована верзија AlphaGo Zero која је способна да игра Shogi, шах и Го. Модификовани агент почиње само са основним правилима игре и такође се потпуно тренира кроз самостално учење. DeepMind је успио да обучи овог генерализованог агента да буде конкурентан претходним верзијама самог себе у Го-у, као и најбољим агентима у друге две игре.

StarCraft StarCraft и његов наставак StarCraft 2 су видео игре стратешког типа у реалном времену (RTS) које су постале популарна окружења за истраживање вјештачке интелигенције. Blizzard и DeepMind су сарађивали како би објавили јавно доступно StarCraft 2 окружење за истраживање АИ. Различите методе дубоког учења тестиране су на обе игре, иако већина агената обично има проблема да надмаши подразумијевани АИ са омогућеном употребом превара или вјеште играче игре.

Аlphastar Alphastar је био први АИ агент који је побиједио професионалне StarCraft 2 играче без било каквих предности у игри. Дубока неуронска мрежа агента је иницијално примала улаз са поједностављене верзије стања игре која је била увећана, али је касније ажурирана да игра користећи камеру, као и други људски играчи. Програмери нису јавно објавили код или архитектуру свог модела, али су навели неколико најсавременијих техника машинског учења, као што су дугa краткорочна меморија, ауто-регресивни policy head-ови, показивачке мреже и централизована вриједност као основна линија.Alphastar је иницијално обучен помоћу надгледаног учења, гледајући репризе многих људских игара како би научио основне стратегије. Затим се обучавао против различитих верзија самог себе и унапређиван кроз учење појачања. Коначна верзија је била изузетно успјешна, али је била обучена само да игра на специфичној мапи у огледном мечу протоса.

Дота 2 Дота 2 је multiplayer online battle arena (МОBA) игра. Као и друге комплексне игре, традиционални АИ агенти нису могли да се такмиче на истом нивоу као професионални људски играчи. Једина широко објављена информација о АИ агентима који су покушавали да играју Дота 2 је OpenAI-ов агент дубоког учења, Five.

OpenAI Five OpenAI Five је користио одвојене LSTM мреже за учење сваког хероја. Тренирано је користећи технику учења појачања познату као Proximal Policy Learning, која је радила на систему са 256 ГПУ-ова и 128.000 ЦПУ језгара. Five је тренирао мјесецима, акумулирајући 180 година искуства у игри сваког дана, прије него што се суочио са професионалним играчима. На крају је био у могућности да побиједи шампионски тим из 2018. године у Дота 2 еспортсу у серији игара 2019. године.

Planetary Annihilation Planetary Annihilation је игра стратешког типа у реалном времену која се фокусира на ратове на масивној скали. Програмери користе неуронске мреже (ANNA) у свом подразумијеваном АИ агенту.

Supreme Commander 2 Supreme Commander 2 је видео игра стратешког типа у реалном времену. Игра користи Multilayer Perceptron (MLPs) за контролу реакције вода на сусрет са непријатељским јединицама. Укупно се користи четири MLP-а, по један за сваки тип вода: копнени, поморски, бомбардер и ловац.

Генерализоване игре Било је покушаја да се направе агенти засновани на машинском учењу који су способни да играју више од једне игре. Ови "генерални" гејминг агенти обучени су да разумију игре на основу заједничких особина између њих.

Снаге и слабости агената заснованих на дубоком учењу Агентима заснованим на машинском учењу често се не посвећује пажња у многим курсевима дизајна игара. Претходна употреба агената заснованих на машинском учењу у играма можда није била врло практична, јер је чак и верзија AlphaGo из 2015. године захтијевала стотине ЦПУ-а и ГПУ-а да би достигла висок ниво обуке. Ово потенцијално ограничава стварање врло ефикасних агената заснованих на дубоком учењу на велике корпорације или изузетно богате појединце. Опсежно вријеме обуке модела заснованих на неуронским мрежама такође може трајати недељама на овим моћним машинама.

Проблем ефикасног тренирања модела заснованих на ANN превазилази моћна хардверска окружења; проналажење доброг начина за представљање података и учење значења из њих је такође често тежак проблем. Модели ANN често се превише прилагођавају врло специфичним подацима и лоше се понашају у општијим случајевима. АlphaStar показује ову слабост, упркос томе што је могао да побиједи професионалне играче, он то може да учини само на једном мапу играјући mirror protoss меч. OpenAI Five такође показује ову слабост, могао је да побиједи професионалног играча само када је био суочен са веома ограниченим избором хероја из цијеле игре. Овај примјер показује колико може бити тешко обучити агента заснованог на дубоком учењу да се понаша у општијим ситуацијама.

Агенти засновани на машинском учењу показали су велики успјех у различитим играма. Међутим, агенти који су превише компетентни такође ризикују да игре учине превише тешким за нове или повремене играче. Истраживања су показала да изазов који је превише изнад вјештине играча уништава уживање нижих играча. Ови високо обучени агенти вјероватно су пожељни само против врло вјештих људских играча који имају много сати искуства у одређеној игри. С обзиром на ове факторе, врло ефикасни агенти засновани на дубоком учењу вјероватно су пожељни само у играма које имају велику конкурентну сцену, гдје могу да функционишу као алтернативна опција за вјежбање са вјештим људским играчима.

Играчи засновани на рачунарском виду