4月1日，美国计算机学会（ACM）宣布，将 2019 年 ACM 计算奖授予 AlphaGo 研发团队领导者 David Silver，以表彰他在计算机游戏方面取得突破性进展。
Silver 现任伦敦大学学院（UCL）教授、Google旗下人工智能公司DeepMind的首席科学家。作为深度强化学习领域的领军人物，Silver 最广为人知的成就是领导AlphaGo 团队，在围棋比赛中击败世界冠军。
AlphaGo 研发团队（P L F X QDavid Silve! T * wr 右一）
围棋是一种流行的抽象棋盘游戏。Silver巧妙地将深度学习、强 { v * n & j _化学习、传统树搜& 2 ~ 5 ; k 0 3索和大规模计算的思想结合起来，开发出了AlphaGo算法。AlphaGo被认为是人工智能(AI)研究的一个里程碑，并被《新科学家》杂志列为过去十年的十大发现之一。
Alp! u $ EhaGo 的研发结合了深度学习、强化学习、传统树搜索算法和大规模计算F l M的思想，被视为人+ j p !工智能研究的里程碑。被《New Scientist》杂志评为过去十年间最伟大的十大发明之一。
电脑游戏和人工智能
自上世纪50年代以来，教计算机程序与人类或其他计算机进行游戏，一直是人工智能研究的核心实践。
计算机程序通过做出一系列决定，来达到获胜的目标，这个过程被看作是对人类思维的模拟和挑战。游戏比赛也给研究人员提供了很容易量化的结果，比如“电脑遵守规则l { u了吗？得分了吗？或者赢了游戏吗` ; m?”
在这一领域的早期，研究人员开发了一些程序来与i 2 . | 6 A } C |人类在M Y k m x e 7跳棋上竞争，在过去的几十年里，国际象棋程序越来越复杂。
1997年，ACM赞助了一场比赛，IBMl l 6 #的“深蓝”(DeepBt t jlue)成为第一台击败国际象棋世界冠军加里卡斯帕罗夫(Gary Kasparov)的电脑程序，这是一个具有分水岭意义的时刻。
与此同时，研究人员的目标不仅仅是开发赢得游戏的程序，而是将游戏作为开发具有模拟人类智能能力机器的试金石。
ACM主席Cherri M. Pancake表示：“在人工智能领域，很少人能像David Silver那样让人如此兴奋H x =。” “人机大战一直是人t v n 3 C工智能的一个标准。2016年3月，全世界数百万人在电视上观看了AlphaGo击败围棋世界冠军李世石(Lee Sedol)的比赛，这仅仅是David S~ : * H Milver影响的开始。他对深度强化学习的见解已经在& W `很多领域得到了应用，比如提高英国电网的效率、降低谷歌数据m P ) J C中心的能耗、以及为欧洲航天局设计太空探测器的轨道。”
Infosys首席运营官Pravin Rao表示：“ID - : f [nfosys对David Silver为深度强化学习做出的基础性贡献，与对人工智能发展所产生的推动表示祝贺。”“当电脑能够在复杂的棋盘游戏中击败世界冠军时，它就抓住了公众的想象力，并将青年研究员吸引到机器学习D I ) J ? ] # +等领域。”重要的是，在将来的时间里，Silver和其同事开发的框架将涵盖人工智能的所有领域，以及未来在商业和工业中的实际应用。Infosys很荣幸为ACM计算机奖提供资金，表彰杰出的年轻计算机专业人士+ ( M a o。”
Silver被认为是新机器学习工具——深度强化学习的最重要的支持者G 1 u V } e l C之一。在这种工具中，通过不O Z { q _同数学处理层的计算模型将人工神经网络与强化学习策略有效地结合起来，对试错结果进行评估。该算法不需要对每一个可能的结果进行计C ] H ; ) k w算，而是进行预测，从而更有效地执行给定的任务。
从头V D - k M * V F开始学习Atari
在2013年的神经E K D y | 2 E信息处理系统会议(N= i % x ] f _eurIPS)上，Silver和其同事8 q r a Z ? 8展示了一个程序* 1 w ( 0 9，可以玩50种Atari游戏，达到了人类的水平。该程序能做到仅基于观察像素和分数来玩游戏，但早期的强化学习方法并没有达到这种水平。
2015年，Silver和其同事发表了一篇开创性论文《通过深度强化学习实现人类水平控制》(Huu ( k Hman Level Control Through Deep rk ^ Q b t v K ,einforcement learning)中，阐述了他们将强化学习与人工神经网络相结合的方法。
该论文在《Nature》发表，被引用了近1万次，对该领域产生了巨大的影响。随后，Silver和同事利用新技术继续完善这些深度强化学习算法。现在，这些算法仍然是机器学习中最广泛使用的工具之一。
AlphaGo
围棋起源于2500年前的中国，至今仍很流行，尤其是在亚洲。围棋被认为比国际象棋复杂得多，因为棋手可以做出更多潜t - 8在的动作，而一款游戏的玩法也很多。Sil; 7 V V + Lver在Alberta大学读博士时，就开始探索开发一种能够掌握围棋的计算机程序k k } = I，这一直是G U L : J他& ) { {的研究兴趣。
在开发AlphaGo的过程中，Silver关键洞见是将深度神经网络与一种被称Monte Carlo Tree Search的电脑游戏算法相结合。
这种算法的一个优点是，在追求游戏中最佳策略的同时，还在不断研究其他替代方案。
2016年3月，AlphaGo击败世界围棋冠军李世石(Lee Sedol)，被誉为人工智能的里程碑时刻。
在2016年发表于《T . DNature)》的论文《用深度神经网络和搜索树掌握围棋, } i v l j { z ,游戏》(Mastering the Game of G] - do with Deep Neural Networks and Tree Search)中，Silver和其同事公布了支撑AlphaGo的基础技术。
AlphaGo 0、 AlphaZero和AlphaStar
Silver和其DeepMind团队一直在开发新的算法，成1 8 [ Y * ! ] H q果丰硕，极大地提高了电脑游戏的技术水平。这在该领域的许多人看来，这是不可能的。
在开发AlphaGo Zero算法的过程中，Silver和其同事证明，一个程序可以在不接触人类游戏专家的情况下掌握围棋。该算法完全通过与自己玩游N 6 F戏来学习，不需要任何人类数V 8 4 + + f M 6据或先验知识，除了游戏规则，在进一步的迭代中，它甚至都不需要知道规则。
后来，DeepMind 团队的 AlphaZero 在国际象棋、将棋和围棋中也获得了超人的表现。在国际象棋中，M K | | _AlphaZero 轻松击败了世界计算机国际象棋冠军 Stockfish ，这是一个由大师和国际象棋编程专( W h : n b z家设计的高D M {性能程序。就在去年，由 Silver 领导的 DeepMind 团队开I 8 l q发的 AlphaStar ，掌握了多人电子竞技游戏《星际争v $ M ; ~霸 II》，这款游戏曾被视为 AI 学习系统所面临的一项艰巨挑战。
目前，DeepMind团队还在继续推进这些技术，并为它们寻找应用程序。在其他项目中，Google正在探索如何使用深度强化学习方法来管理工厂中的机器人。
关于David Silver
戴维西尔弗(David Silver)：DeepMi1 + 3 U + e 7 }nd强化学习研究小3 - 4 N m f组的负责人，伦敦大学学院(University College London)的计算机科学教授。其就职的谷歌子公司DeepMind试图将机器学习和系统神经科学的最佳技术相结合，以构建强大的通用学习算法。
Silver分别于1997年和2000年获得剑桥大学学士和硕士学位。1998年，他与人共同创立了视频游戏公司Elixir Studios，并担任首席技术官和首席程序员。2009年，西尔弗重返学术界，在Alberta大学获得了计算2 l / P p M机n A ) @ E科学博士学位。
Silver所获得的荣誉有：Marvin Minsky人工智能杰出成就的奖章(2018)、英国皇家工程学院杰出贡献银奖(2017)和门萨基金会人工智能领域最佳科学发现奖(2017)。
关于ACM 计算奖
ACM 计算奖旨6 1 % } ` I 8 K在表彰研究成果产生了深远影响和广泛意义的中青年计算机科学家。该奖项的奖金为 25 万美元，资金支持由 Infosys Ltd.提供。ACM 计算奖以前被称为 ACM Infosys 基金会计算科学奖。ACM 奖获U ^ a得者将被邀请参加海德堡桂冠论L _ o @坛，这是一个年度网络活动，汇集了来自世界各地的年轻研究人员和 ACM 图灵奖、阿r M S / @贝尔奖、菲尔兹奖和奈凡林纳奖的获得者。
关于ACM
关于 ACM计算机科学协会（ACM）是世界上最大的教育和科学计算机学会，它将计算机教育工作者、研究人员和专业人士联合起来s h _ J Q , @，以激发对话、共享资源并应对该领域的挑战。ACM 通过强大的领导力、最高标准的推广以及对技术卓越的认可，增强了计算机行业的集体声音。ACM 通过提供终身学习、职业发展和专业网络的机q g K u u W R会来支持其成员的专业成长。
原文链接：
https://www.acm.org/p N Z t 5 ) K cmedia-center/2020/april/acm-prize-2019