• 如果觉得宅男频道还不错,Ctrl+D放进你的收藏夹吧~
  • 宅男频道所有内容均来自互联网用户分享,如有违规内容,纯属本站管理不善,请及时联系我们删除。
  •    2018-08-1 08:43:46  ACGN趣谈  1 条评论

    前段时间我们曾介绍过一个进度比DeepMind还要快,率先在不对称信息的电竞游戏Dota2》中击败人类玩家的AI —— OpenAI。在OpenAI的官方博客以及官方Youtube频道上,官方表示他们会在即将到来的8月6日举办一场测试赛,之后他们将在TI8中使用全新版本的OpenAI Five与世界顶尖的职业选手较量。OpenAI Five相较于去年在「Dota2国际邀请赛」上亮相的、在单挑赛中击败了全球知名选手Dendi的OpenAI更为强大,它以5个AI组成的团队与人类玩家组成的队伍进行对抗,进行一场完整的Dota2比赛。

    Benchmark

    在北京时间8月6日OpenAI会进行「OpenAI Five Benchmark」测试赛,这是一场全球同步直播的比赛,也是OpenAI及同类AI首次在直播中的亮相。(之前OpenAI击败人类玩家的测试赛只是在线下小规模进行,且并没有进行直播)

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    对于这一次的Benchmark测试,OpenAI团队显得非常有信心,而且他们还快马加鞭地在6月收到大量玩家反馈之后对AI进行了又一次的进化,使得目前的OpenAI Five已经可以进行一场近似标准的Dota2比赛。

    《Dota2》这款游戏的标准比赛是在一个固定的地图进行,虽然看起来这个游戏的模式是很固定的,但是由于这款游戏玩家可以选择超过100个英雄以及各式各样的装备物品,同时比赛中双方均是五人构成的团队,使得《Dota2》能在一个相对固定的游戏模式下,形成每一局基本不可能重复的高随机性游戏战局。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    早期由于AI功能的限制,OpenAI Five的比赛被限定在了一个5V5的、具有严格限制条件(如不能插眼、不能打Roshan、不能使用任何隐身道具/选择任何具有隐身技能的英雄等)的镜像赛,这些条件极大程度上限制了玩家的策略与发挥,在OpenAI Five击败人类玩家队伍的消息传出之后,这个比赛规则也是引来了非常多游戏玩家的反对。

    考虑到最终OpenAI Five是要登上万众瞩目的「Dota2国际邀请赛」的舞台,所以OpenAI的开发团队选择直面玩家提出的意见,毕竟对于全球直播的比赛来说,AI如果取胜,这个胜利想要被全球Dota2玩家承认,那么他们必须要让比赛规则能被玩家们所认可、信服。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    于是在短短的一个月内,OpenAI的开发团队基于他们开发的高通用性训练系统Rapid将整个OpenAI进行了一个大升级,使其能够接受游戏中出现的更多复杂的可能性。

    Rapid训练系统是一个完全无监督学习的训练系统,OpenAI开发团队并不会给AI提供任何训练的样本,AI的训练将分为两组,一组对抗超高难度的脚本(即传统AI),另一组则是进行自我对弈,进行一轮又一轮的淘汰,最终数据将交给优化器更新神经网络模型中对应的参数。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    小编本身是一名Dota2玩家,如果根据原有的镜像赛规则,人类玩家基本上很难获胜,但是在这个新规则下,由于英雄阵容、道具使用、战术策略被进一步地放开,AI是否能击败人类玩家还是一个未知数。虽然说人类玩家可能在补刀(最后一击奖励)等游戏基本功上弱于AI,但是玩家仍然可以依赖阵容与战术的配合击溃AI,毕竟《Dota2》这款游戏是一款团队策略游戏。

    目前的规则开放了玩家争议最大的禁止插眼、禁止Roshan、禁止隐身,这三条限制严重束缚了《Dota2》核心玩法的一部分,使得整个游戏的所谓「变数」大幅度降低。在开放之后,AI与人类玩家都允许通过插眼改变、操作视野,同时隐身单位的存在也使得战术可以更为多变。在开放这些限制之后整个游戏的核心玩法基本齐备,比赛将更贴近于一场「标准的Dota2比赛」。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    除此之外,玩家争议比较多的AI操作反应时间也从80ms改成了80-200ms,虽然这更贴近人类的操作反应时间,但是80-200ms的反应速度在人类中也算是非常快的了。

    除此之外规则从限定于5V5镜像赛开放到了可在18个英雄中自由搭配阵容,虽然规则没有提及,但是小编看来应该是可以重复选择的,如果不能重复选择,比赛将会变得更为精彩。

    开放英雄池意味着阵容的多变,在游戏中表现出来的就是英雄之间技能的配合、双方英雄间技能的克制等多样化的战术安排。

    然而目前这个规则仍然禁止了游戏中另一个比较核心的东西 —— 幻象,大概是因为现在的AI并不具有分辨幻象的能力。

    背后

    根据OpenAI官方给出的数据,实际上OpenAI以及OpenAI Five的背后并没有我们想象的那么复杂。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    信息直接通过游戏的BotAPI读入,OpenAI读入的并不是游戏实时的图像数据,而是经过BotAPI导出的内存数据,BotAPI可以保证AI读取的数据和玩家所看到的是一致的。不过对于玩家来说,由于地图尺寸大,玩家可以看到的区域是有限的,所以AI对于游戏的观测会相较于玩家来说更为全面、细致。

    系统采用了一个1024单位的单个LSTM层对游戏实时观测得到的数据进行处理,并且根据预测给出执行游戏内的操作。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    每一秒OpenAI Five会对游戏进行约7.5次的观测,即数据的抓取与处理,这意味着AI对于战局的变化是非常敏锐的,与人类连贯地通过视觉、听觉获得游戏信息无疑。对于AI来说,AI少了基于画面与音效对游戏信息进行转化处理的这么一个操作,所以对于AI来说,它们不会忽视战局内的任何一个细节。

    在AI的算法方面,实际上由于《Dota2》本身每一局比赛时间跨度、动作与状态空间跨度都很大,同时《Dota2》本身是一个玩家双方信息不对称的游戏,这使得OpenAI只能通过无监督学习来强化自己的实力,这意味着类似AlphaGo那样的MCTS(蒙特卡洛搜索树)等算法在这里都变得没有意义了。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    对于无监督学习的AI,实际上对于整个游戏战局有多种抽象与深度学习的方法,但是OpenAI的开发团队比较出奇地采用了一个最基本的PPO算法,并与Observeand Look Further这一理论进行结合,它们对新式的HRL(层次强化学习)等算法并没有什么太大的信心。其中Observeand Look Further中的核心理论是将PPO算法惯用的某个反应指数式衰减参数γ由0.99调整为了0.998-0.9997,这使得神经网络的最长视界半衰期延长到了46秒,我们可以简单地理解为AI对战局的观测得到的结果会对AI后续的决策带来更长时间的影响。

    这种算法以及神经网络结构或许可以算得上是一种「暴力」。得益于OpenAI的Rapid训练系统,这种「暴力」的算法也能被驾驭起来并且解决《Dota2》对局这种复杂的问题。

    仅仅过了一个月,这个会打《Dota2》的AI变得更加强力!

    当然,这需要非常强大的算力支持,在OpenAI Five的背后训练所使用的CPU高达128000颗,相较于OpenAI 1V1 Bot来说是翻倍的,同时他们还使用了256颗P100GPU。相较于偏向使用GPU进行训练的AI,OpenAI反而更倾向于让CPU作为主要算力。当然,这些设备都在Google云上,对于OpenAI来说,这么大规模的算力也是一笔不小的支出了,相较于Google,OpenAI是一个非营利组织,他们能这么烧钱也证明其背后的金主对于这个项目还是非常看好的。

    毕竟这是一个在业内具有领先地位的里程碑式的项目。如果OpenAI Five在明年能做到支持进行完全功能、标准规则的Dota2比赛,那么它相较于Google旗下DeepMind与暴雪在《星际争霸2》上的合作可以说是有着巨大的领先,毕竟隔壁DeepMind的AI在去年陷入了开发瓶颈。

    OpenAI Five通过暴力的算法也向我们证明了一件事情,在暴力的算法、强大的算力以及合理的训练系统下,AI也能通过无监督学习完成很多我们之前认为它不可能完成的事情,这也正是为什么在Google正式推出TPU3.0之后,小编称AI的开发将会往前迈进非常大的一步。

    这场测试赛将于北京时间8月6日凌晨5点,比赛预计持续到早上八点,不出意外的话应该是打三局测试赛,想看的朋友早起一下就能看到。比赛会在B站进行全程直播,当然想看原汁原味的解说也可以去Twitch。没有意志早期的同学届时应该也有回放或录像。

    值得一提的是,这次测试赛中你有机会与OpenAI Five打上一局,因为官方将会在大概凌晨3点左右开始直播,进行约2小时的观众趣味赛,届时不出意外应该是全球玩家与OpenAI Five对抗的一个机会,有兴趣与AI一战的可以考虑蹲点。

    在小编看来这个是一个对AI发展具有里程碑意义的直播,感兴趣的同学千万不要错过了,因为你可能将在这个直播里见证一个奇迹、一个里程碑的诞生。在Benchmark之后,也请继续期待在国际邀请赛上OpenAI Five的表现。

    不过话说回来,实际上AI背后到底是怎么实现这些东西的,在战局之中AI内部到底是经历了一个怎么样的变化,实际上这是可读性非常差的东西,想要真正去探究这些东西,研发人员需要去研究五位数甚至六、七位数的参数,这或许要耗费十几年甚至几十年的时间。因而在可读性差的情况下,实际上我们并不能了解AI内部到底是发生了什么,我们只知道它的算法、它的理论。

    我们到底能不能把控住AI正确安全的发展,仍然还是个谜。

     

    本文原始地址:http://www.zhainanpindao.cc/8041.html

    本站只做信息分享,转载请注明出处来自宅男频道

    相关推荐

    发表评论

    1. 看黄片网址 【7bq91.top】██████ 看黄片网址 【7bq91.top】█████

      1 御宅达人 LV.7 1个月前 (01-14) [0] [0]