全国免费咨询电话:4000-000-000
文章详情/Company profile

OpenAI公布Dota AI比赛细节 自我对局让

网站编辑:cnc娱乐登录-cnc娱乐官网-cnc娱乐下载 │ 发表时间:2020-06-18 10:36:22 

  在攻克了围棋以后,人工智能研究者们似乎不约而同地把电子竞技游戏作为了下一个练兵场。雷锋网上周报道,在Dota2国际邀请赛TI7上,OpenAI率先展示了自己的成果,在西雅图让AI在1v1比赛中击败了职业选手,又一次点燃了关于AI的讨论。

  雷锋网对比赛结果也进行了诸多分析,就目前的资料来看,其实1v1比赛可能较围棋来得简单,在1v1比赛中取胜,也不能说明在5v5的完整比赛中能战胜人类,人类还保有一定的尊严。

  经过约一周的时间,OpanAI最终公布了Dota AI的一些细节,不过它还是有所保留,没有说明技术细节。最后,他们还说到最终的目的就是在5v5比赛中战胜人类。

  上图是游戏AI的TrueSkill评级(类似于国际象棋中的ELO评级)分数变化,计算方式是模拟AI之间的游戏对局,并观察胜率。TrueSkill系统是基于贝叶斯推断的评分系统,由微软研究院开发,主要用于多人游戏匹配。这套评分系统考虑到了玩家水平的不确定性,综合考虑了玩家的胜率和可能的水平涨落,而不是简单的基于胜率的评分。

  图中显示的变化趋势是线性的,这意味着AI的提升水平呈指数级增长。

  OpenAI还具体介绍了项目的开发时间表。从某种角度看,15%的玩家低于1.5K MMR,58%的玩家低于3k,而99.99%低于7.5k。

  MMR是比赛匹配分级系统,全称是match making ranking,简单理解就是Dota中常说的天梯分。

  3月1日:在简单的Dota环境中得到了第一个经典强化学习下的结果,AI操作的黑暗游侠可以对付神牛了。

  5月8日:1.5k MMR水平的测试员说自己的速度比AI要快。

  6月30日:在与3k MMR测试者的比赛中多数会赢

  7月8日:对战7.5K MMR水平的半专业测试者,终于赢了一次。

  8月7日:3-0击败Blitz(6.2k的前职业选手),2-1击败Pajkatt(8.5k的职业选手),3-0击败CC&C(8.9k的职业选手),不过大家都认为,系统还是打不过顶尖选手Sumail。

  8月10日:6-0击败Sumail(8.3k职业选手,顶级1v1玩家),不过在与8月9日版的系统对战结果是2-1。

  8月11日:2-0击败Dendi(7.3k职业选手,前世界冠军)2-0。这个时候的系统对战前一天的版本,胜率是60%。

  完整的比赛是5v5版本的,不过1v1也出现在一些锦标赛中。OpenAI写到,系统是在标准比赛规则下对战的,在1v1中没有为AI做特别的简化。

  观察:使用游戏的Bot API接口,功能集与视角和人类玩家的一样,会受英雄,小兵,信使和附近地形的影响。整个游戏对AI系统来说是部分可观察的。

  操作:也是调用Bot API,操作频率被限定在与人类水平相当,这包括移动到某个位置,攻击或使用某个物品的频率。

  反馈:系统在赢得比赛后会得到奖励,其它一些基本指标,如英雄的生命状态和最后一击等,也会影响奖励。

  系统还可以选择使用的几十个装备道具,选择后会有评估。OpenAI还用了传统的强化技术单独训练开局前的挡兵,这基本是1v1的标准操作。

  OpenAI称,他们使用的方法结合了少量的“教练”式训练与自我对战,每天都能有很大的提升。比如在TI比赛的那段时间,周一晚上的时候Pajkatt还打赢了系统,当时他使用了一个不寻常的装备,即在早期购买了魔棒。后来OpenAI将这种操作加到了培训当中。

  星期三下午OpenAI再次测试了最新的系统。比赛中AI在第一波攻击中就掉了一大半血,正当研究人员觉得要把系统回复了原先版本的时候,他们注意到了惊人的发展,原来第一波攻击是在诱使对方采用更激进的攻击方式。系统进一步的自我对局逐渐解决了这个问题,并学会了抵制引诱策略。

  在与Arteezy的比赛之后,OpenAI更新了挡兵模型,让系统的TrueSkill分增加了一点。然后在与Sumail比赛之前又进行了进一步训练,把TrueSkill分增加了两点。Sumail比完后说,AI甚至学会了在敌方的视线之外压影炮,这样可以打断敌人在视野之外的回复。

  Arteezy还与OpenAI的7.5k评级半专业测试员打了一场比赛。Arteezy赢了比赛,但测试人员用了从AI系统那学的一招,着实让人吃惊。Arteezy后来说,这是他以前与Paparazi比赛时对方用过的招数,很少有人会用。

  这种情况在围棋中也曾出现过,当AlphaGo战胜李世石后,再到它与柯洁的比赛,人类棋手也越来越多地开始学习它的布局与下法。

  Sumail在对战后说,AI系统是“不可战胜的”,但它仍然会在与之前遇到过的状况非常不同的情况下不知混所措。在TI的比赛那段时间,OpenAI还设了一次局域网比赛让很多人参加进来,以各种方式与AI系统对战,总共收集了1000多次比赛数据。最终还是发现了不少系统的破绽,可以战胜它,主要有三类:

  引兵:当小兵进攻的时候,可以不断攻击它们吸引火力,让他们跟着你跑,这样可以导致AI一方的防卫塔被小兵消耗而亡。

  淬毒之珠+风灵之纹:买这两个装备可以在1级的时候带来很大的移动速度优势,这样可以快速拿AI的一血。有了这样好的开始战胜电脑就很容易了。

  1级影压:用这一条战胜电脑需要不少技巧,不过根据OpenAI的说法,有几个6-7k水平的玩家能够在较短时间内压3-5记影炮,在1级的时候就杀死AI系统。

  以上都是在1v1比赛中的小bug,很容易修复错误。但是对于5v5比赛来说,这样的问题根本就不是漏洞了,这时候需要的是一个可以处理突发且怪异情况的系统。

  最后,OpenAI表示还没有准备好对外公布开发的AI代理的具体构造,团队的重点是首先解决5v5比赛。如果说1v1比赛很复杂,那5v5比赛就是复杂的集合,而解决这一问题会进一步推动AI的进步。

  OpenAI认为,一个比较好的着手方式是行为克隆。Dota每天有大约一百万场公开赛,这些比赛的重播数据会被存储在Valve的服务器上两周。雷锋网(公众号:雷锋网)了解到,自去年11月以来,OpenAI一直在下载每位专家级别玩家的重播数据,已经收集了580万局游戏的数据(每局都是10人参与的45分钟游戏)。

  OpenAI的Dota 2系统表明,如果有充分的计算,自我对局可以将机器学习系统的性能从远低于人类的水平提高到超越人类。在一个月的时间里,它们的系统就从比不上高水平玩家,发展到了击败顶级职业选手,而且还在继续提升。有监督深度学习系统只能与培训数据集一样好,但在自我对局系统中,随着代理越来越好,可用数据会自动提升。

  AI市场规模将达3万亿美元 准备好迎接人工智能的浪潮

  Google收购计算机视觉公司AIMatter

  腾讯总裁刘炽平:AI具有战略意义 加码投入不急于短期回报

  除了不断打败人类之外 AI也在让游戏变得更加有趣

  微软10亿美元投资OpenAI 但AI仍然和“天网”无关

  AI破译千年文物铭文能力超人类!正确率比人类高30%

  2019华为手机杯中国围甲联赛落幕:华为不只是冠名

  “捉迷藏”也能学习?OpenAI用其教会AI团队合作!

  阿里P8招兼职私助,背后居然竟“暗藏玄机”

  苹果iOS 14 概念视频曝光!你心动了吗?

  每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

  2.在添加朋友里,搜索关注TechWeb。

  美商务部允许美企在设定5G标准等方面与华为合作

  疫情下的618:搜索热度已盖过双11 全民练习“直播带货”

  Zoom拟向所有用户提供端对端加密服务 7月份推出试用版

  Lyft承诺到2030年实现100%使用电动或零排放汽车

  高通总裁:超过375款5G终端采用高通5G技术解决方案

  京东“衣锦还乡”二次上市 不再“躁动和叛逆”

  京东正式登陆港交所挂牌上市:开盘价239港元 较发行价上涨5.8%

  中兴通讯:7nm芯片已实现规模量产 5nm芯片正在技术导入

  疫情下的618:搜索热度已盖过双11 全民练习“直播带货”

  京东金融公布618一小时战报:白条交易额180秒破10亿

  天猫:618首小时成交额同比增长100%

  外媒:今年TikTok在美国市场营收有望达到5亿美元

  天猫:618的5折限时券0点发放 10点再送10亿消费券

  秒针系统发布AI智能洞察创作平台“秒出”

  B站推出“锤人类”作品试运行管理办法 将减少推荐争议视频

  盒马共享员工平台北京启动 拣货员、配送员为当前急需工种

  支付宝搜索板块升级:新增数十万金融类搜索关键词

  搜狗翻译推出国内首个AI写作助手,开启外语学习智能化新篇章

  Zoom拟向所有用户提供端对端加密服务 7月份推出试用版

  Lyft承诺到2030年实现100%使用电动或零排放汽车

  高通总裁:超过375款5G终端采用高通5G技术解决方案

  中兴通讯:7nm芯片已实现规模量产 5nm芯片正在技术导入

  美国三大股指周三涨跌各异 费城半导体指数涨近1%

  外媒:云计算厂商加快采用液体降温 传统散热已难以满足需求

  大众汽车将向固态电池开发商QuantumScape追加2亿美元投资

  外媒:索尼微软新品推动 游戏主机闪存需求三季度将回升

  特斯拉正邀请中国设计师为其设计汽车 新车将面向全球销售

  马斯克:特斯拉并未开发搭载100kWh电池组的Model 3/Model Y

  买小米壁画电视65英寸大屏送32英寸电视

  移动边缘计算的区块链技术新体系:共识机制和可扩展性方案

  云计算市场竞争加剧:数据显示北京高居第一,领先次名8倍之多

  云计算方案:借助本地快速故障转移实现完美恢复的可行性论文

  谷歌开源项目飞马(PEGASUS):可以自动进行文章摘要

  阿里云今年再招5000人 重点吸引AI、芯片等攻坚人才

  阿里云首次公布三大方向:做深基础、做厚中台、做强生态

  Gartner:预计2020年中国云服务支出将逆势增长19%

  青云QingCloud上线分布式关系型数据库PolonDB

  《风暴英雄》新英雄小美公布 大招雪崩+冰墙

  6月首批国产游戏获批:共55款 腾讯B站上榜

  Epic Games即将完成7.5亿美元融资

  iOS版微信悄然上线“拍一拍”功能 网友:再

  iOS用户可以修改微信号了 一年一次机会

  美的创始人何享健安全 警方:5名犯罪嫌疑人

  北京爆发新冠疫情 支付宝/微信迅速锁定35万

  北京疫情防控变化大 这些小工具助你及时了

  华为Mate40系列或首发屏下摄像头:全球首个

  华为麒麟芯片探索独立上车 已和比亚迪签订

  超感知徕卡五摄再攀影像巅峰 2020最强高端旗舰华为P40 Pro+图赏

  荣耀Play4 Pro图赏:时尚潮酷ID设计 性能强劲也不能少了颜值

  realme线 Pro玩家版图赏:全新幻影黑配色 撞出绚烂夜空

  华为畅享Z图赏:全高清珍珠屏 千元机也有90Hz高刷新率

  荣耀X10:经典升降全面屏设计 4000万RYYB矩阵相机抢眼

  阿里P8招兼职私助,背后居然竟“暗藏玄机”

  苹果iOS 14 概念视频曝光!你心动了吗?

  华为nova 7系列新品线华为春季新品线上发布会

  旷视Brain++·天元深度学习框架开源发布会

  美国三大股指涨跌各异 费城半导体指数上涨近1%

  京东二次上市:后刘强东时代三驾马车跑向何方

  解决安全问题 Zoom为所有用户提供端到端加密

  Lyft:到2030年将100%采用电动或零排放汽车

  外媒:今年TikTok美国市场营收有望达到5亿美元

  吉利汽车回归科创板 A股市值最高汽车集团或易主

  乐视网:28万乐视网股民不属贾跃亭个人债权人

  传字节跳动收购蓝色光标 字节跳动:没有此计划

  高通:超375款5G终端采用高通5G技术解决方案

Copyright © 2011-2012 tssinfo.com Inc.All Rights Reserved
cnc娱乐登录-cnc娱乐官网-cnc娱乐下载