清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

人工智能在过去十年中从实验室走向产业化生产,重塑传统行业模式、引领未来的价值已经凸显,并为全球经济和社会活动做出了不容忽视的贡献。

当前,人工智能已经迎来其发展史上的第三次浪潮。人工智能理论和技术取得了飞速发展,在语音识别、文本识别、视频识别等感知领域取得了突破,达到或超过人类水准,成为引领新一轮科技革命和产业变革的战略性技术。人工智能的应用领域也快速向多方向发展,出现在与人们日常生活息息相关的越来越多的场景中。

近日,清华大学科技情报大数据挖掘与服务系统平台 AMiner发布了研究报告《人工智能发展报告2011-2020》,阐述人工智能过去十年取得的重要成果,并讨论了人工智能的未来发展蓝图,理论、技术和应用方面的重大变化与挑战。

本期内参来源:清华大学

原标题:

《人工智能发展报告2011-2020》

作者: 未注明

一、飞速发展的十年1、论文发表情况

人工智能过去十年发展快速,从学术研究走向商业化。本报告专注于通过分析在国际顶级期刊和会议上的人工智能领域科研论文发表情况来研究该领域的成果产出。由下图可见,从 2011 年以来人工智能领域高水平论文发表量整体上呈现稳步增长态势,取得了很多科研成果。这些科研成果涵盖 R-CNN 算法、神经机器翻译的新方法等。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

过去十年人工智能领域国际顶级期刊会议论文数量趋势

从高水平科研论文的国家分布来看,人工智能领域论文发表量居于前十的国家依次是美国、中国、德国、英国、日本、加拿大、法国、韩国、意大利和澳大利亚,如下图所示。美国和中国的高水平论文发表量明显高于其他国家,分别位居第一、二名,中国的论文量紧随美国之后。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

过去十年人工智能领域高水平论文发表量前十国家

研究发现,各个国家的人工智能领域高水平科研论文发布具有以下特征。

(1)、开展跨国科研合作较多的国家是美国和中国

从论文的国际合作网络看,美国和中国的 AI 高水平论文发表均存在较多的跨国合作现象,如下图所示。其中,AI 技术实力领先的美国所参与的高水平论文跨国合作最多,是各国的主要合作国家,过去十年,美国的 33255 篇 AI 高水平论文之中,出现过中国、英国、加拿大、德国、印度等 30 多个合作国家,合作国家数量最多;中国的跨国科研合作国家数量位居第二,在其 22686 篇 AI高水平论文之中,出现了美国、加拿大、新加坡、英国、日本等 20 多个合作国家;英国和德国的 AI 高水平论文跨国合作国家数量均为 18 个。其余国家在 AI高水平论文方面开展的跨国合作数量较少。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

过去十年人工智能领域高水平论文发表国际合作国家分布

(2)、中美两国是对方 AI 领域的重要科研合作伙伴

在 AI 高水平论文发表方面,美国和中国均是对方的重要科研合作伙伴。过去十年,美国在其 30 多个合作国家之中,与中国合作的 AI 高水平论文数量占比最多,为 18.53%。同时,中国在其 20 多个合作国家之中,与美国合作的论文数量最多,占比 27.16%。可见,开展国际科研合作已成为中美两国 AI 研究成果产出的重要方式。

(3)、跨国科研合作可以提高合作本国 AI 研究成果的影响力

分析发现,美国的 AI 领域高水平论文平均引用率为 44.99,中国的 AI 领域高水平论文平均引用率为 31.88。相比而言,中国和美国合作论文的平均引用率达 51.2,其影响力明显高于中国和美国各自论文的平均引用水平,这表明跨国合作的科研成果在世界人工智能研发领域的展示和交流几率大大增加。

2、获得图灵奖的人工智能技术

图灵奖(ACM A.M. Turing Award)是计算机界最负盛名、最崇高的一个奖项,有“计算机界的诺贝尔奖”之称。图灵奖是计算机协会(ACM)于 1966 年设立的奖项,专门奖励对计算机事业做出重要贡献的个人。其名称取自世界计算机科学的先驱、英国科学家、曼彻斯特大学教授艾伦·图灵(A.M. Turing)。图灵奖获奖者必须是在计算机领域具有持久而重大的先进性的技术贡献,大多数获奖者是计算机科学家。第一位图灵得主是卡耐基梅隆大学的 Alan Perlis (1966 年),第一位女性获奖者是 IBM 的 Frances E. Allen (2006 年)。

通过 AMiner 智能引擎,可以自动收集历年来图灵奖获得者及其学者画像信息(基本信息、研究兴趣等),以及该学者的论文和专著等信息。由于每年度的图灵获奖者一般在次年 3 月下旬由美国计算机协会(ACM)官方颁发,因此本报告统计了截至 2020 年颁发的近十年(2010-2019 年)图灵奖得主数据。分析发现,图灵奖近十年授予领域具有如下特征。

(1)、十年中三次正式颁奖给人工智能领域

图灵奖颁发的领域,在一定程度上反映了计算机科学技术发展方向的缩影。数据显示,过去十年图灵奖分别授予给了计算理论、概率和因果推理、密码学、分布式和并发系统、数据库系统、万维网、计算机系统、深度神经网络和 3D 计算机图形学九个领域,具体如下图所示。 从获奖内容、创新角度、研究领域等维度来看,图灵奖注重原始理论创新和学科交叉,具有科研优势积累现象。

过去十年的 图灵奖有三次正式授予给人工智能领域。

第一次是 2010 年,Leslie Valiant 因对计算理论的贡献(PAC、枚举复杂性、代数计算和并行分布式计算)获得图灵奖,该成果是人工智能领域快速发展的数学基础之一。

第二次是2011 年,因 Judea Pearl 通过概率和因果推理对人工智能做出贡献而颁奖;

第三次是 2018 年,深度学习领域三位大神 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因为在概念和工程上的重大突破推动了深度神经网络成为计算机领域关键技术而荣获图灵奖。

Hinton 的反向传播(BP)算法、LeCun 对卷积神经网络(CNN)的推动以及 Bengio 对循环神经网络(RNN)的贡献是目前图像识别、语音识别、自然语言处理等获得跳跃式发展的基础。中国科学院张钹院士在《迈向第三代人工智能》一文中也提到这 5 位图灵奖得主在创建第二次 AI 中所做出的重大贡献。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2010-2020 年图灵奖授予的计算机领域

(2)、人工智能领域获奖人数占据四分之一

由下图可见,过去十年,共有 16 位学者获得图灵奖。其中,包括 5 位人工智能领域学者获此殊荣,占比 31%,这反映出人工智能在计算机学科中的地位已不容忽视。同时,人工智能领域图灵奖 从初期的单独获奖者到近年来的共同获奖者,越来越呈现出高层次学者强强联合的研究趋势。

(3)、美国培养并拥有八成以上的图灵奖得主

过去十年的 16 位图灵奖获得者之中,有 13 位来自美国、2 位来自英国、1位来自加拿大,如下图所示。在美国的 13 位图灵奖得主之中,有 10 位是在美国本国接受的全部高等教育、2 位拥有美国和其他国家教育背景、仅 1 位没有美国教育背景。其中,2011 年获奖者 Judea Pearl 拥有以色列本科教育和美国纽约大学博士教育背景;2012 年图灵奖得主 Silvio Micali 拥有意大利本科教育和美国加州伯克利大学博士教育背景。唯一没有美国教育背景的是 2018 年图灵奖得主 Yann LeCun,他仅有法国教育背景。八成以上图灵奖得主具有美国教育或工作背景的事实,反映出美国人工智能高层次人才培养的强势竞争力。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2010-2020 年图灵奖得主所在国家及教育背景情况

(4)、欧洲培养的高层次人才中有三位被吸引到美国学习或工作并获图灵奖

从这些图灵获奖者的教育背景来看,美国与欧洲国家的学术交流非常多。Yann LeCun 拥有法国教育背景后到美国任职并获图灵奖;Judea Pearl 和 Silvio Micali 分别从以色列和意大利被吸引到美国继续深造而拥有跨国双重教育背景,后来均到美国任职并在美国获得图灵奖。此外,英国的这两位图灵奖得主虽然均是在本国接受的高等教育并且获奖时都在本国,但都有过一些美国任职经历。

Geoffrey Hinton 博士毕业于英国爱丁堡大学,后来陆续在谷歌、卡内基梅隆大学、加州大学圣地亚哥分校等美国机构任职;Tim Berners-Lee 在英国牛津大学本科毕业后,也有过在麻省理工学院任职的经历。可见, 美国的高等教育体系不仅培养的 了自己本国的 AI 领域高端人才,而且从欧洲国家吸引和留住了多位领域精英。

(5)、仅加拿大图灵奖得主没有任何美国教育和任职经历

在这 16 位图灵奖获得者之中,仅有加拿大的 Yoshua Bengio 在本国的麦吉尔大学接受了高等教育并在本国蒙特利尔大学任职,并于 2018 年因在深度神经网络概念和工程上的突破而获奖。这在一定程度上反映出加拿大在人工智能领域高层次人才培养和质量上较为成功。

(6)、图灵得主们在领域相关论文发表后需要平均等待 37.1 年之后才获奖

通过 AMiner 人才画像数据获取这些图灵奖得主所发表的第一篇与获奖理由相关主题的论文,计算得出该论文发表年份距离作者获得图灵奖时间,从而得到这些图灵得主的获奖时间长短,如下图所示。结果发现,图灵奖得主获奖时一般距离其首次发表获奖领域相关论文至少已经三十年以上,平均为 37.1 年。

其中, Edwin Catmull 于 2019 年获得图灵奖,距离其在计算机图形学领域发表的最早论文 A system for computer generated movies 已经过去了 47 年,等待获奖时间最久。而获奖等待时间最短的是 Tim Berners-Lee,他于 1990 年发表WorldWideWeb: Proposal for a Hypertext Project 论文,仅在 26 年后的 2016 年就因发明万维网、Web 浏览器以及允许 Web 扩展的基本协议和算法获得图灵奖。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

图灵奖得主的首篇领域论文发表距离获奖年份的时长

(7)、八成以上图灵得主获奖时已经度过了其科研论文高峰产出期

基于 AMiner 平台上各位图灵奖得主的论文数据和人物画像,分析发现,图灵奖得主一般会在获奖后保持原来的研究方向,但是他们的论文发表量却减少了。有 80.1%的图灵得主在获图灵奖后的论文年均产出量低于其获奖前的年均论文产出量,如下图所示,这反映出他们在获得图灵奖时已经普遍过了其学术产出高峰时期。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2010-2020 年图灵奖得主获奖前后的年均论文发表量

值得一提的是,Yoshua Bengio,Judea Pearl 和 Michael Stonebraker 三位学者是例外,他们在获得图灵奖之后的年均论文产出量较其获奖前均有不同程度的增加,分别增加了 328.07%、49.53%和 12.32%。其中,Yoshua Bengio 在 2018 年获得图灵奖后论文年均发表量激增特别明显,并在 2019 年发表 96 篇论文,达到其论文产出峰值,他的 AMiner 学术画像及年度论文发表量如下图所示。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2018 年图灵奖获得者 Yoshua Bengio 的 AMiner 学术画像

需要指出的是,部分图灵得主在获奖后的论文产出量减少除了其学术产出减少之外,还存在以下两个原因。

一是他们可能已不再全力进行学术研究,而是转向参与社会事业等,从而导致其获奖后的论文发表量减少。例如,Whitfield Diffie在 2015 年因密码学的贡献获得图灵奖后,转向致力于促进信息安全和隐私权的保护;Martin Hellman 因密码学的贡献获得同年的图灵奖后,转向致力于研究国际安全与核武器削减。

二是也有少量图灵得主在发表相关论文后早已投身于工业界,例如,计算机图形学先驱 Edwin Catmull 在研究生毕业后就在卢卡斯、皮克斯等公司就职,早已离开学术界,曾担任 Pixar 动画和 Disney 动画的总裁,四次获电影 Oscar 奖(1993、1996、2001 和 2008),其 AMiner 学术画像及年度论文发表量如下图所示。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2019 年图灵奖获得者 Edwin Catmull 的 AMiner 学术画像

3、媒体评选出的重大人工智能技术

自 2001 年起,《麻省理工科技评论》每年都会评选出当年的“十大突破性技术”。所评选出的技术榜单曾精准预测了脑机接口、智能手表、癌症基因疗法、深度学习等诸多热门技术的崛起,在全球科技领域具有举足轻重的影响力。

分析发现,媒体评出的人类突破性技术之中近 30% 与人工智能相关。通过分析挖掘 2010-2020 年《麻省理工科技评论》评选出当年的“十大突破性技术”,发现有 32 项 项 人工智能相关技术入选榜单,占比近 30%,其中包括:2013 年的深度学习、2014 年的神经形态芯片、2016 年的语音接口与知识分享型机器人、2017年的自动驾驶卡车与强化学习,2018 年的流利对话的 AI 助手、给所有人的人工智能和对抗性神经网络、2019 年的灵巧机器人,以及 2020 年的微型人工智能和人工智能发现分子。具体名单如下图所示。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2010-2020 年入选《麻省理工科技评论》“十大突破性技术”榜单的人工智能相关技术

4、国际顶会顶刊最佳论文授予领域分析

人工智能领域顶级期刊和会议每年都会在众多学术研究论文之中,通过“双盲评审”,评选出最有新意和价值的研究论文作为最佳研究论文,并授予“Best Paper”奖项。每年大会的最佳论文奖一般分两类,一类是最佳研究论文(Research track),另一类是最佳应用论文(Applied track)。部分会议在每年选出多篇最佳论文(分列第一、二、三名),也有部分顶会每隔几年才会选出一篇最佳论文。

从过去十多年的经验来看,国际顶会历年的最佳研究论文都会对之后很多领域的研究有着开创性的影响。因此,不论是从阅读经典文献的角度,还是从学习最新研究成果的角度来说,分析和探讨每年的最佳研究论文都极具价值。

本部分收集整理了2011-2020年期间的人工智能领域国际顶级会议最佳论文奖项第一名的全部论文(对于不区分名次的最佳论文则全部收录),再对这些论文所属领域进行分析。统计发现,过去十年荣获“最佳论文”奖项的论文来自 34个国际顶会、共计 440 篇,其中,research track 最佳论文 409 篇,占比 93%。各会议最佳论文量的具体分布如下表所示,FOCS、IEEE VIS、ISSCC 等最佳论文数量较多主要是因为该会议每年颁发 3 篇杰出论文奖(Outstanding Paper Award)且不区分先后名次。ICASSP 等会议最佳论文量较少主要是由于存在缺失数据。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2011-2020 年人工智能领域国际顶级会议最佳论文授予量分布 (单位;篇)

从所属细分研究领域来看,这些最佳论文覆盖了机器学习、计算机视觉、自然语言处理、机器人、知识工程、语音识别、数据挖掘、信息检索与推荐、数据库、人机交互、计算机图形学、可视化、安全与隐私、计算机网络、计算机系统、计算理论、经典 AI、芯片技术等 18 个子领域。

(1)、顶会最佳论文奖呈现出较多跨领域授予现象

总体而言,尽管这些国际顶级会议将大部分的最佳论文奖都授予给了本会议所属的 AI 子领域,但是授予非本会议领域的最佳论文数量占比较高,达 22.3%。其中,WSDM 是数据挖掘领域重要国际会议,在它授予的最佳论文奖之中,有90.9%的最佳论文被授予给非数据挖掘领域的论文,在所有会议中占比最高。其次,KDD 会议将 88.9%最佳论文奖授予给非数据挖掘领域的论文,WWW 会议将 63.6%的最佳论文奖授予给非信息检索与推荐领域的论文。各个会议最佳论文授予情况具体如下表所示。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

2011-2020 年人工智能领域国际顶级会议最佳论文授予其他 AI 领域比例

(2)、信息检索与推荐、机器学习和计算理论出现较多的跨领域授予

从跨领域授予最佳论文奖的整体数量来看,信息检索与推荐、机器学习和计算理论是获得最佳论文奖项数量较多的三个领域,占比均超过 10%,详细情况如下图所示。这反映出这三个子领域的跨领域研究成果所获的专业认可度较高,在一定程度上促进了相关技术在多个 AI 子领域的快速发展和进步。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

人工智能领域国际顶级会议最佳论文奖跨 AI 子领域授予分布图

从来源会议来看,信息检索与推荐领域最佳论文除了被 RecSys、SIGIR 和 WWW 本领域会议最多授予之外,也较多被数据挖掘领域会议 WSDM、数据库领域的 SIGMOD和 VLDB 授予最佳论文奖,如下图所示。

清华大学:人工智能十年发展总结,中国进步神速,专利占全球七成 | 智东西内参

信息检索与推荐领域最佳论文跨领域授予会议示例

(3)、机器学习技术成果集中在 2016-2018 年获得较多奖项认可

过去十年顶会最佳论文授予技术领域的年度趋势如下图所示,其中,色块颜色代表该项技术在某项会议所被授予的最佳论文数量,色块颜色越深表示论文数量越多。

从最佳论文奖被授予领域的年度趋势来看,机器学习领域过去十年内最佳论文在 2016 年被授予最多,为 9 篇,其次是 2017 和 2018 年,相关最佳论文数量均为 8 篇。从来源会议来看,共有 14 个顶会将最佳论文奖分别授予给机器学习领域。其中,最佳论文奖授予量较多的两大会议是 International Conference on Machine Learning (ICML)和 International Conference on