您现在的位置 > 首页>科技资讯 >

不需要TAS了,AI打游戏就是TAS(转载知乎:AI打魂斗罗)

点击图片查看下一页
查看原图
更新:07-15     编辑:     来源:    


  • 人工智能小闲无伤打通魂斗罗1代第一关视频

    不需要TAS了,AI打游戏就是TAS(转载知乎:AI打魂斗罗)断桥15 小时前

    http://www.zhihu.com/video/893756393209888768

    小闲(英文名Dplay)是我们花了四个月开发的人工智能游戏程序,它可以只看屏幕画面自我训练,通过深度增强学习算法,通关大多数横版和竖版过关游戏,比如魂斗罗、沙罗曼蛇、绿色兵团和赤色要塞等,也可以通关简单的对战类游戏如街霸。暂时还无法通关解谜、迷宫、棋类、RPG、3D画面,以及各种复杂游戏。小闲是在Deepmind的DQN算法上的改良版,核心技术上并无多大改进,但是解决了很多琐碎细致的问题。目前通关魂斗罗1的是0.4版本。训练大约1000万次。输入屏幕画面,如果主角死亡会给程序反馈,手速没有限制。无伤通关的概率大约是1/4。由于某些代码限制,这段视频由四段视频拼接,所以中间有少量跳帧。为了减少训练时间,截掉了最后的通关画面。解说一下:9秒处:小闲可以在很短的训练次数后学会主动吃M枪。17秒处:小闲本次训练时跳桥失败,但大部分情况下他会跳过桥,因为通过桥走死亡率低。21秒处:小闲能预见到即将出现两个敌人,并先发两颗子弹打死这两个敌人。26秒处:小闲能够把头埋到水里躲避子弹。51秒处:小闲主动吃S枪,因为这把枪对胜率影响很大。59秒处:小闲主动吃R枪,加快子弹速度。1分05秒到2分37秒:小闲打关底。前面非常流畅,但关底看得无比纠结,相比人类的平均水平(数秒)太久。这是由于关底Boss需要打很多枪才能通过,小闲很难判断到底哪一枪是有效的,所以接近四处乱打,人类则可以通过音效来判断有效攻击。这个问题暂时还没有很好的解决方案。这个程序是用于解决游戏通关内容直播的成本问题,并不是所有人都有时间钻研游戏,所以不少人对通关视频或通关直播有需求,目前的解决方案是请高手来打通一款游戏,然而耗资不菲的高手也需要练习且不可能样样精通。程序可以解决这个问题。我们准备在下一版改进后,在选定的视频网站伤做一个频道,专门播放小闲对其它老游戏通关的情况。如果比较受大家欢迎的话,也可能会在直播平台上24小时直播老游戏通关。小闲每次通关的打法都有所不同,并且依然在持续改进,只是因为我们的GPU不够,所以改进得比较慢。当然,因为本人身处内容行业,主要考虑的是程序生成内容。这个程序其实应该还有很多其它用途,目前先埋头积累。如有任何问题或合作意向,烦请私信联系本人。







    http://www.zhihu.com/video/893756393209888768——————————————————问:有什么用处?答:目前主要是用于生成通关视频(这个有不少需求,我也比较熟,当然,没什么钱赚)。以后可能会变成一个游戏伴侣之类的东西,也可能与游戏公司合作,用于改进NPC的智能,特别是Boss的智能。比如你这次组队打Boss的方法,Boss也会学习,并使你下次用同样的方法通关时失败。问:用什么平台?答:目前是用FC模拟器读出数据后写入OpenAI的接口处理。问:为什么叫小闲?答:因为觉得电脑闲的无聊才打游戏,所以叫小闲。不过好像和星际2的女子世界冠军小闲撞车了,以前不知道,下一版会改个名字。问:为什么不增加音效的判定?答:可以识别音效作为判定依据,问题是,训练时为了加快速度,我们是采用加速4倍的方式训练的,对图像来说这很容易,四帧抽一帧就行了,但对音效来说就非常麻烦了,至少得重新写个程序。不是不行,而是比较繁琐。现在还没做,准备往这个方向努力一下。问:游戏中人物的获取是通过什么手段?摄像头?直接在游戏程序中开放一个数据接口获取?答:无法直接获取人物,输入是前后帧屏幕像素的差值。这其实导致很多问题,比如红白机渲染前景时是跳帧的,人物或子弹等移动物体会隔帧显示,人眼会认为是闪烁,照常工作,但对电脑是个挑战。电脑会发现子弹在某帧突然消失了,然后又突然出现,令训练失效。因为电脑不能理解这个物体。(模仿人眼用视觉暂留解决即可,但这类问题在游戏中非常多,人类觉得很正常的地方,电脑处处是坑,需要一一解决,所以是个繁琐的工作。)问:之所以S弹对胜率影响高也是因为对“有效攻击”的判断不足吧?试想一下关底没有S弹,单纯凭一条直线的射击,要摸索多长时间才能通关啊。。。答:是的,时间会更长,死亡几率更高。问:假如S弹落在身后或不同高度的地形,小闲会折身或者调整位置去取吗?答:其实在第12秒的时候,电脑的确是有意识地停下来把R枪击落。但击落后R枪落在身后,捡取R枪的奖赏应该是没有抵过向右行动的奖赏。如果是S枪我觉得挺难说的,搞不好是会回头去捡。但一下子找不出这样的片段。问:为什么电脑能预判敌人出现的地点?答:大部分游戏都是随机的,但魂斗罗这种非常古老的游戏,是定时、定点出现规定的敌人,所以能够预判。问:关于有效攻击,命中目标时人物子弹会消失,未命中目标时子弹是从屏幕边缘飞出的。设置一个攻击评分机制会不会好很多?屏幕飞出-1;命中目标0.5;命中目标并致死1.这样可以有效解决攻击目标不明确的问题吧。答:这个是先验知识,不能给机器提供,否则属于作弊了。问:为什么不通关马里奥?答:因为马里奥比较简单,它有分数,奖赏很明确。它的Boss也更弱。当然,这里仅指1代,马里奥2、3代增加了少许迷宫,训练起来就不容易了。问:魂斗罗是不存在随机内容的。。也就是说每局游戏敌方操作都是明确可预测的。。。这样是不是相当于始终在一个训练集里进行训练,最后得到一个完美拟合训练集的模型?得到的结果只是一个机器脚本而不是人工智能吧?答:不会,增强学习是explore和exploit的混合,即便游戏内容是固定的,在每一次训练时,它也会产生一些随机的探索动作。所以每次通关的方式都不同,而且是很不同。问:是不是从无数次里选出成功的一次录像?答:是选择的录像,但不是从无数次里。第一关我们切分成四个场景训练。场景一二三四的无伤通关几率分别是90%,80%,90%和50%,所以总体来说每三到四次会产生一轮完美的无伤通关。我们就是选取了其中一次无伤通关录的。电脑依然在增强学习中不断进步,所以无伤通关的几率会进一步提高。问:为什么每次都不打爆坦克,而是打两枪后跳过去?答:可能是因为坦克需要打好几枪,与关底Boss类似,都面临一个Reward传递的问题。电脑看见坦克打爆,很难将奖励传递到之前的某个动作予以确认,因为电脑不能理解是哪个动作把坦克打爆的。另一方面,同样由于打坦克需要一段时间,而向右行走的奖赏又比较大,所以电脑会倾向于选择向右行走,一边向右行走时由于时间有限,很难一边打爆坦克。



    网友评论:

    外挂

    最后BOSS那里一直在擦弹,然后拖着BOSS不打,还是差点点意思

    好玩

      -


    文中解释了,因为AI听不见声音,所以不知道子弹打哪里可以打败BOSS,所以只能乱试……

    ai训练感觉很像中医 经验丰富但知其然不知其所以然

      -

    我的理解是现阶段国内外这些关于AI的工作,都是致力于培养一个具有高效率学习能力的一般模式,故意不给先验条件,让电脑学会“学习”,成熟了以后再给予人类目前既有的先验知识,那估计AI的智力水平就会爆炸性地增长吧,瞬间超越人类自身……

    这个有趣,马克回家看

      -

    有没有可解释性


    然而目前的情况常常是同样的学习方法直接套到别的问题上就不好用了,例如隔壁打星际只会飞人族建筑的阿法狗

    看了第一关,运动方式好鬼畜,在水里就是前进一步露个头,这是蛙泳吗


    没这么大棋吧,不要先验知识是为了节省成本吧


    大概就是AI学到的经验吧,情况不明时先潜个水压压惊,因为潜水状态是无敌的……

    openai是特斯拉老板那个平台么?
    之前就觉得这个吹的最硬气

      -



    TAS背后有很多真人玩家找漏洞,研究过法之类的努力
    AI能都给干了?
    看完主贴,只能说这是标题党,ai玩和tas玩根本不是一个东西

    验证码的末日2333

    只有死亡和时间做反馈的话,最后ai会进化成不杀敌通关吧,然后道中的模式又不能适用boss,所以打发看上去有点局部最小的感觉,不知道啥时候能跳出来.

    比如你这次组队打Boss的方法,Boss也会学习,并使你下次用同样的方法通关时失败。同样的招式对于圣斗士是没有作用的!

    【答:不会,增强学习是explore和exploit的混合,即便游戏内容是固定的,在每一次训练时,它也会产生一些随机的探索动作。】

    这条不能细想。

    专门写东西谈防忽悠的破破的桥也想靠忽悠变现了?


    人类才是典型的经验主义吧

    1分05秒到2分37秒:小闲打关底。前面非常流畅,但关底看得无比纠结,相比人类的平均水平(数秒)太久。这是由于关底Boss需要打很多枪才能通过,小闲很难判断到底哪一枪是有效的,所以接近四处乱打,人类则可以通过音效来判断有效攻击。这个问题暂时还没有很好的解决方案。

    这个可以给ai一个时间奖励来解决吧,用时越短视为越优,这样长时间运行后小闲就能闭眼速通了。不愧是韩宗

    可以一起打魂斗罗的女盆友

相关推荐

精彩图集

一品图片网部分图片资源收集于互联网,如果侵犯了您的版权请来信告知,我们会及时处理和回复,邮件地址:
© 2021 一品图片网 版权所有 苏ICP备150288886号 | sitemap | 图片大全