alphago人工智能前景
A. ""阿尔法狗"的胜利,将成为人工智能发展道路上一座重要的里程碑" 什么意思
1、围棋算最需要智力的一种游戏,机器战胜人类最强棋手李世石,柯洁,说明人工智能在一些方面已然超越人类,这可能是人工智能领域的又一次突破和飞跃。
B. AlphaGo是否代表了人工智能的成功和未来
AlphaGo这个系统主要由几个部分组成:
走棋网络(Policy Network),给定当前局面,预测/采样下一步的走棋。
快速走子(Fast rollout),目标和1一样,但在适当牺牲走棋质量的条件下,速度要比1快1000倍。
估值网络(Value Network),给定当前局面,估计是白胜还是黑胜。
蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS),把以上这三个部分连起来,形成一个完整的系统。
我们的DarkForest和AlphaGo同样是用4搭建的系统。DarkForest较AlphaGo而言,在训练时加强了1,而少了2和3,然后以开源软件Pachi的缺省策略 (default policy)部分替代了2的功能。以下介绍下各部分。
1、走棋网络
走棋网络把当前局面作为输入,预测/采样下一步的走棋。它的预测不只给出最强的一手,而是对棋盘上所有可能的下一着给一个分数。棋盘上有361个点,它就给出361个数,好招的分数比坏招要高。
DarkForest在这部分有创新,通过在训练时预测三步而非一步,提高了策略输出的质量,和他们在使用增强学习进行自我对局后得到的走棋网络(RL network)的效果相当。当然,他们并没有在最后的系统中使用增强学习后的网络,而是用了直接通过训练学习到的网络(SL network),理由是RL network输出的走棋缺乏变化,对搜索不利。
有意思的是在AlphaGo为了速度上的考虑,只用了宽度为192的网络,而并没有使用最好的宽度为384的网络(见图2(a)),所以要是GPU更快一点(或者更多一点),AlphaGo肯定是会变得更强的。
所谓的0.1秒走一步,就是纯粹用这样的网络,下出有最高置信度的合法着法。这种做法一点也没有做搜索,但是大局观非常强,不会陷入局部战斗中,说它建模了“棋感”一点也没有错。我们把DarkForest的走棋网络直接放上KGS就有3d的水平,让所有人都惊叹了下。
可以说,这一波围棋AI的突破,主要得益于走棋网络的突破。这个在以前是不可想像的,以前用的是基于规则,或者基于局部形状再加上简单线性分类器训练的走子生成法,需要慢慢调参数年,才有进步。
当然,只用走棋网络问题也很多,就我们在DarkForest上看到的来说,会不顾大小无谓争劫,会无谓脱先,不顾局部死活,对杀出错,等等。有点像高手不经认真思考的随手棋。因为走棋网络没有价值判断功能,只是凭“直觉”在下棋,只有在加了搜索之后,电脑才有价值判断的能力。
2、快速走子
那有了走棋网络,为什么还要做快速走子呢?有两个原因,首先走棋网络的运行速度是比较慢的,AlphaGo说是3毫秒,我们这里也差不多,而快速走子能做到几微秒级别,差了1000倍。所以在走棋网络没有返回的时候让CPU不闲着先搜索起来是很重要的,等到网络返回更好的着法后,再更新对应的着法信息。
其次,快速走子可以用来评估盘面。由于天文数字般的可能局面数,围棋的搜索是毫无希望走到底的,搜索到一定程度就要对现有局面做个估分。在没有估值网络的时候,不像国象可以通过算棋子的分数来对盘面做比较精确的估值,围棋盘面的估计得要通过模拟走子来进行,从当前盘面一路走到底,不考虑岔路地算出胜负,然后把胜负值作为当前盘面价值的一个估计。
这里有个需要权衡的地方:在同等时间下,模拟走子的质量高,单次估值精度高但走子速度慢;模拟走子速度快乃至使用随机走子,虽然单次估值精度低,但可以多模拟几次算平均值,效果未必不好。所以说,如果有一个质量高又速度快的走子策略,那对于棋力的提高是非常有帮助的。
为了达到这个目标,神经网络的模型就显得太慢,还是要用传统的局部特征匹配(local pattern matching)加线性回归(logistic regression)的方法,这办法虽然不新但非常好使,几乎所有的广告推荐,竞价排名,新闻排序,都是用的它。
与更为传统的基于规则的方案相比,它在吸纳了众多高手对局之后就具备了用梯度下降法自动调参的能力,所以性能提高起来会更快更省心。AlphaGo用这个办法达到了2微秒的走子速度和24.2%的走子准确率。24.2%的意思是说它的最好预测和围棋高手的下子有0.242的概率是重合的,相比之下,走棋网络在GPU上用2毫秒能达到57%的准确率。这里,我们就看到了走子速度和精度的权衡。
和训练深度学习模型不同,快速走子用到了局部特征匹配,自然需要一些围棋的领域知识来选择局部特征。对此AlphaGo只提供了局部特征的数目(见Extended Table 4),而没有说明特征的具体细节。我最近也实验了他们的办法,达到了25.1%的准确率和4-5微秒的走子速度,然而全系统整合下来并没有复现他们的水平。
我感觉上24.2%并不能完全概括他们快速走子的棋力,因为只要走错关键的一步,局面判断就完全错误了;而图2(b)更能体现他们快速走子对盘面形势估计的精确度,要能达到他们图2(b)这样的水准,比简单地匹配24.2%要做更多的工作,而他们并未在文章中强调这一点。
在AlphaGo有了快速走子之后,不需要走棋网络和估值网络,不借助任何深度学习和GPU的帮助,不使用增强学习,在单机上就已经达到了3d的水平(见Extended Table 7倒数第二行),这是相当厉害的了。任何使用传统方法在单机上达到这个水平的围棋程序,都需要花费数年的时间。在AlphaGo之前,Aja Huang曾经自己写过非常不错的围棋程序,在这方面相信是有很多的积累的。
3、估值网络
AlphaGo的估值网络可以说是锦上添花的部分,从Fig 2(b)和Extended Table 7来看,没有它AlphaGo也不会变得太弱,至少还是会在7d-8d的水平。少了估值网络,等级分少了480分,但是少了走棋网络,等级分就会少掉800至1000分。特别有意思的是,如果只用估值网络来评估局面(2177),那其效果还不及只用快速走子(2416),只有将两个合起来才有更大的提高。
我的猜测是,估值网络和快速走子对盘面估计是互补的,在棋局一开始时,大家下得比较和气,估值网络会比较重要;但在有复杂的死活或是对杀时,通过快速走子来估计盘面就变得更重要了。考虑到估值网络是整个系统中最难训练的部分(需要三千万局自我对局),我猜测它是最晚做出来并且最有可能能进一步提高的。
关于估值网络训练数据的生成,值得注意的是文章中的附录小字部分。与走棋网络不同,每一盘棋只取一个样本来训练以避免过拟合,不然对同一对局而言输入稍有不同而输出都相同,对训练是非常不利的。这就是为什么需要三千万局,而非三千万个盘面的原因。对于每局自我对局,取样本是很有讲究的,先用SL network保证走棋的多样性,然后随机走子,取盘面,然后用更精确的RL network走到底以得到最正确的胜负估计。当然这样做的效果比用单一网络相比好多少,我不好说。
一个让我吃惊的地方是,他们完全没有做任何局部死活/对杀分析,纯粹是用暴力训练法训练出一个相当不错的估值网络。这在一定程度上说明深度卷积网络(DCNN)有自动将问题分解成子问题,并分别解决的能力。
另外,我猜测他们在取训练样本时,判定最终胜负用的是中国规则。所以说三月和李世石对局的时候也要求用中国规则,不然如果换成别的规则,就需要重新训练估值网络(虽然我估计结果差距不会太大)。至于为什么一开始就用的中国规则,我的猜测是编程非常方便(我在写DarkForest的时候也是这样觉得的)。
4、蒙特卡罗树搜索
这部分基本用的是传统方法,没有太多可以评论的,他们用的是带先验的UCT,即先考虑DCNN认为比较好的着法,然后等到每个着法探索次数多了,选择更相信探索得来的胜率值。而DarkForest则直接选了DCNN推荐的前3或是前5的着法进行搜索。我初步试验下来效果差不多,当然他们的办法更灵活些,在允许使用大量搜索次数的情况下,他们的办法可以找到一些DCNN认为不好但却对局面至关重要的着法。
一个有趣的地方是在每次搜索到叶子节点时,没有立即展开叶子节点,而是等到访问次数到达一定数目(40)才展开,这样避免产生太多的分支,分散搜索的注意力,也能节省GPU的宝贵资源,同时在展开时,对叶节点的盘面估值会更准确些。除此之外,他们也用了一些技巧,以在搜索一开始时,避免多个线程同时搜索一路变化,这部分我们在DarkForest中也注意到了,并且做了改进。
5、总结
总的来说,这整篇文章是一个系统性的工作,而不是一两个小点有了突破就能达到的胜利。在成功背后,是作者们,特别是两位第一作者David Silver和Aja Huang,在博士阶段及毕业以后五年以上的积累,非一朝一夕所能完成的。他们能做出AlphaGo并享有现在的荣誉,是实至名归的。
从以上分析也可以看出,与之前的围棋系统相比,AlphaGo较少依赖围棋的领域知识,但还远未达到通用系统的程度。职业棋手可以在看过了寥寥几局之后明白对手的风格并采取相应策略,一位资深游戏玩家也可以在玩一个新游戏几次后很快上手,但到目前为止,人工智能系统要达到人类水平,还是需要大量样本的训练的。可以说,没有千年来众多棋手在围棋上的积累,就没有围棋AI的今天。
C. 为什么说这次的alphago属于真正的人工智能
人机对战更像人工智能一场科技秀
虽然整场对弈还没有结束,但是目前的情况显然有些让人出乎意料。有人认为,这是围棋冠军的一个挫败,但却是人类文明的胜利。因为人类是一个善于发明工具去协助自己变得更强大的生物。但是,这场人机对弈似乎有点被神话的意味。事实上,虽然人类在围棋项目输了,但这从本质上讲,仅仅意味着人类单项竞技智慧的颓败,并不代表人工智能已经全面超越人类。甚至,仅仅就围棋这一单行竞技中,人工智能能够对人类提供的帮助也是有限的。
在这场依旧正在进行中的人机博弈,结果依旧是难以预料的。但是不论最终结果如何,有一个事实是改变不了,那就是,围棋作为一项竞技项目,是有规则可寻的,而这些规则计算机的数据足够全面,其实也可以在这些数据的基础上找出规律,形成算法。而机器的算法早就已经超越了人类,即使是李世石处在围棋巅峰,其逻辑运算能力到了计算机面前也根本是难以逾越的。像之前的国际象棋早已经被计算机的逻辑运算完全打败,所以棋手都会和计算机下棋训练,如今看来,围棋这种人类竞技项目也难逃这种宿命。
真正的人工智能首先要有真正的分析推理能力,能够协助人类去提高分析和决策效率。虽然有别于传统计算机穷举计算方式,“阿尔法狗”采用的是利用“价值网络”去计算局面,用“策略网络”去选择下子。但是,阿尔法狗依旧处于一个弱人工智能的水平。什么是弱人工智能?简单的说,所谓弱人工智能就是仅在单个领域比较牛的人工智能程序。比如我们熟悉的苹果Siri,就是一个会卖萌的弱人工智能程序。而阿尔法狗根据这个标准,依旧在这个范围以内。充其量,最多是人类围棋的陪练。而这场人际对决,本质上更像是谷歌的一场科技秀。
D. 阿尔法狗在围棋界大获全胜,对于人工智能发展有什么意义
代表人工智能已经进入了可以替代人类的部分。围棋是非常考验智力的。人工智能已经完胜人类,则代表人工智能已经可以替代人类了。
E. 简述为什么alphago离强人工智能还很远
首先,alphago不是真正的人工智能。因为技术还没有办法实现真正的人工智能。其次我们说人工智能是工具,是为人类服务的工具。而alphago只是为某一个点而制作机器人,所以它离人工智能还蛮远的。
F. 人工智能前景怎么样值得投入进来么
特别是这几年,中央发文件,大力支持新兴行业,特别是物联网,人工智能等等行业。信息化的时代,特别是5g的研发成功,无人汽车,无人飞机,等等跨时代产品都将发展起来,人工智能作为他们的核心技术,前景当然是非常的宏大的。
G. AlphaGo的胜利=人工智能已经超越人类了
说到深度学习,大家第抄一个想到的肯定是AlphaGo,通过一次又一次的学习、更新算法,最终在人机大战中打败围棋大师李世石。那么AlphaGo的胜利真的意味着人工智能已经超越人类了吗?
答案是否定的。虽然我们看到了AlphaGo连连击败李世石,然而,AlphaGo只不过是在模拟专业围棋选手的走子方案,而且这种模拟依赖于历史比赛的记录。
AlphaGo在算法层面上并没有太多新的东西,主要是通过把已有的技术整合在一起,并利用大量的训练数据和计算资源来提高准确性。归根结底,强大的计算平台和工程能力是核心。
深度学习作为人工智能领域的一个应用分支,不管是从市面上公司的数量还是投资人投资喜好的角度来说,都是一个重要应用领域。目前深度学习在图像识别和语音识别上得到了不错的发展,也有不少专家非常看好在自然语言处理上的发展,比如智能助手等。
H. AlphaGo 击败李世石,是否促进了AI行业的发展
有意思的是曾经和史蒂芬霍金(Stephen Hawking)和其他的人工智能专家联名签署了一封禁止开发人工智能武器公开信的马斯克还是开发Alphago公司Deepmind的早期投资者。马斯克还因为担心人工智能会无比控制而伤害人类的言论而获得“阻碍科技进步奖”。那么离我们似乎并没有那么遥远的人工智能将会带来哪些变革呢?以笔者的观察,人工智能将会对智能家居、无人驾驶等方面对人类的生活产生巨大的影响。
当被问到真正的智能家居何时才能到来的时候,王雄辉表示,“欧瑞博已经在经历智能家居的第二个阶段,我们已经实现了不同智能单品的联动,比如门打开的时候自动打开灯光和电视,温度高时自动打开空调等联动控制,下一步我们计划引入具备人工智能能力的家用服务型机器人,来做家庭总管,全部管理你的家庭,当然这个阶段需要5-10年的时间。”我们可以推测,人工智能极有可能是打开智能家居的任督二脉的关键技术,实现真正“懂”你的智能家居,将极大的方便和舒适我们的家居生活。