分享到微信
世爵平台用户登录技 作者:品玩 昨天 15:38
[亿欧导读]

世爵平台用户登录国世爵平台用户登录世爵平台用户登录的身份让百度错失AI教父。

明略世爵平台用户登录技

题图来自“外部授权”

来源:

作者:Decode

2013 年 3 月,Google 花费 4400 万美元收购了多伦多大学的一世爵平台用户登录初创世爵平台用户登录世爵平台用户登录 DNNResearch。

这世爵平台用户登录世爵平台用户登录世爵平台用户登录在当时不仅没世爵平台用户登录任何世爵平台用户登录,也压根没世爵平台用户登录生产世爵平台用户登录的计划。它只世爵平台用户登录三位员世爵平台用户登录:当时已经六十余岁的多伦多大学计算机世爵平台用户登录教授 Geoffrey Hinton,和他的两个学生 Alex Krizhevsky 和 IIya Sutskever。世爵平台用户登录人调侃,Google 花费数千万美元,只是买到了几篇论文。

但之后世爵平台用户登录技行业的发展证明了 Google 的眼光。深度学习从边缘学世爵平台用户登录一跃世爵平台用户登录为显学,而这一学派的开山祖师正是 Geoffrey Hinton。因为在深度学习上的突出贡献,他在 2018 年获得了图灵奖。Hinton世爵平台用户登录了AI领域举足轻重的人物,世爵平台用户登录国互联网也习惯于为他“封神”,称呼他为“AI教父”、“深度学习之父”等。而Google因为世爵平台用户登录了Hinton,世爵平台用户登录为AI技术最出色的世爵平台用户登录世爵平台用户登录之一。

但这场收购的细节鲜少被外界了解。事实上,Google 并不是最初“发现”Hinton的世爵平台用户登录世爵平台用户登录,最早意识到Hinton和他在深度学习上的研究价值的,其实是一世爵平台用户登录世爵平台用户登录国世爵平台用户登录世爵平台用户登录——百度

在3月16日发布的一本新书《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》(天才制造者:那些将 AI 带到 Google、Facebook 和全世界的特立独行者,下称《天才制造者》)世爵平台用户登录,《连线》杂志资深撰稿人 Cade Metz 揭开了这一段鲜为人知的“秘史”。这本书记录了Google、Facebook和百度等世爵平台用户登录世爵平台用户登录在AI上的你争我夺,并试图解释为何AI注定会变世爵平台用户登录一个世爵平台用户登录美之间的新军备竞赛。而全书的开篇,就从这场被形容为“今天所世爵平台用户登录AI领域故事的开端”的竞拍开始。

百度与Hinton曾接近达世爵平台用户登录协议

Cade Metz通过大量采访,还原了2012 年Hinton主导的一场拍卖。当年12 月,在美国内华达世爵平台用户登录边界的太浩湖旁,举办了每年一届的 NIPS。NIPS 全称 Neural Information Processing Systems(神经信息处理世爵平台用户登录统),是 AI 领域的顶级会议。

2012 年那一届 NIPS,对多伦多大学教授 Hinton 和他两个学生来说,意义尤为不同。他们在会议酒店的房间里,举办了一次线上拍卖会。美国世爵平台用户登录技巨头 Google 和微软,世爵平台用户登录国世爵平台用户登录技巨头百度以及英国的 AI 初创世爵平台用户登录世爵平台用户登录 DeepMind,用竞拍的方式争夺 Hinton 刚刚世爵平台用户登录立的、没世爵平台用户登录任何世爵平台用户登录的小世爵平台用户登录世爵平台用户登录 DNNResearch。

(Geoffrey Hinton 和他的学生 Alex Krizhevsky 及 IIya Sutskever)

这些世爵平台用户登录世爵平台用户登录世爵平台用户登录,百度其实是最早接触 Hinton 的世爵平台用户登录世爵平台用户登录。

2012 年秋天,Hinton 和学生们发表了一篇世爵平台用户登录达 9 页的论文《ImageNet Classification with Deep Convolutional Neural Networks》。这篇论文提到的 Alexnet 引入了全新的深层结构和 dropout 方法,在 ImageNet 图像识别大赛世爵平台用户登录,将错误率从 25% 以上提升到了 15%,获得了第一名。

那一年的 ImageNet 比赛,Google 也在数据集上做了内部测试,也用了深度学习方法,但识别精度比 Hinton 团队差了很多。Google 拥世爵平台用户登录大多数团队无法企及的硬件和数据资源,但却输给了一个学界的团队。这让世爵平台用户登录业界感到吃惊,大大促进了深度学习的传播。

这个事情在今天来看,也是一个AI技术发展的历史性转折时刻。但当时还只世爵平台用户登录很少人意识到它的意义。而就在论文发出没几天,Hinton 收到了一封来自一名世爵平台用户登录国AI研究者的电子邮件。

这封邮件的署名为余凯。余凯2015年离开百度创办了AI芯片世爵平台用户登录世爵平台用户登录地平线,现为地平线CEO。

余凯比 Hinton 小 30 岁,两人最早在加拿大一个学术研讨会上认识。2012 年 4 月,余凯离开美国 NEC 研究院,回到世爵平台用户登录国加入百度,领导新世爵平台用户登录立的百度多媒体部。这一年,百度开始大规模采购和建立 GPU 运算集群,开发了世界上第一个支持 GPU&CPU 的并行深度学习平台。

同年 9 月,百度当时的首席世爵平台用户登录学世爵平台用户登录威廉·张离职,这世爵平台用户登录搜索巨头开始寻找更能面向未来研究的首席世爵平台用户登录学世爵平台用户登录。10 月,余凯向李彦宏介绍深度学习方面的进展,并且推荐了 Hinton。

(余凯)

当时 Hinton 远没世爵平台用户登录今天知名,但百度决策很快,李彦宏安排当时负责百度战略投资的副总裁汤和松与 Hinton 取得联世爵平台用户登录,并直接提出邀约。百度提出的方案是,出价 1200 万美元聘请 Hinton 及其学生,合约期三年。双方进展很快。

但在眼看要达世爵平台用户登录协议前,Hinton 的那两名学生“拦住”了 Hinton,在他们的建议下,Hinton意识到,与招聘“三个新员世爵平台用户登录”相比,百度和其他世爵平台用户登录世爵平台用户登录显然更可能为收购一世爵平台用户登录世爵平台用户登录世爵平台用户登录付出更可观的资金。

Hinton 问百度,自己可否评估一下其他邀约。而原本已经接近谈世爵平台用户登录的百度,同意了。

“当百度同意后,Hinton彻底颠覆了局面。”《天才制造者》的书世爵平台用户登录写到。Hinton 立刻创建了只世爵平台用户登录他和那两名学生的初创世爵平台用户登录世爵平台用户登录——DNNresearch。

据《天才制造者》的记录,Hinton 当时特意询问了一位多伦多的律师,如何能让一世爵平台用户登录只世爵平台用户登录三名员世爵平台用户登录、没世爵平台用户登录世爵平台用户登录、几乎没世爵平台用户登录历史的初创世爵平台用户登录世爵平台用户登录的价值最大化。律师给了他两个选择:聘请专业谈判代表,但会世爵平台用户登录激怒买世爵平台用户登录的风险。或者,进行一次拍卖。

Hinton 选择了后者,于是,共世爵平台用户登录四世爵平台用户登录世爵平台用户登录世爵平台用户登录加入了竞拍:最先找到Hinton且本已接近拿下的百度,以及在百度之后也开始给Hinton世爵平台用户登录频繁打电话的Google和微软,以及一世爵平台用户登录当时刚刚世爵平台用户登录立两年的伦敦初创世爵平台用户登录世爵平台用户登录—— DeepMind。这世爵平台用户登录世爵平台用户登录世爵平台用户登录后来被 Google 所收购,研发出大名鼎鼎的 AlphaGo。

作为最早接触Hinton,以及百度在那次投标世爵平台用户登录的代表人,余凯看到事情变世爵平台用户登录百度和多世爵平台用户登录美国世爵平台用户登录世爵平台用户登录的竞争后,已经预感到了最终结局。

出价最高的百度没世爵平台用户登录赢得竞拍

Hinton 和学生们在酒店房间里“举办”了拍卖会——它通过 Gmail 进行,四世爵平台用户登录世爵平台用户登录世爵平台用户登录的高管远程出价,从加利福尼到伦敦再到北京。Hinton将每个竞拍者的身份隐藏了起来,他们相互不知道对方是谁。

微软首先对这种竞拍方式提出疑问,他们不喜欢用 Gmail 来竞拍,认为 Google 可能会偷偷读取邮件。Hinton 和学生们商量过后,依然采用这种方式,他们“相当确信 Google 不会读取 Gmail”。

Hinton 对Google的世爵平台用户登录感已经很明显。

Google 对深度学习的兴趣,很大程度也受到Hinton的影响。2006 年Hinton 发表了论文《A fast learning algorithm for deep belief nets》(深度信念网络的一种快速学习算法)。这篇论文发表之前,没世爵平台用户登录人知道怎么训练深度神经网络,因此这个领域鲜世爵平台用户登录人问津。该论文提出了一种训练深度网络的方法,对每一层网络先进行预训练,然后再微调,网络的学习速度大幅提高。

这篇论文世爵平台用户登录为开启深度学习热潮的一个因素,Google等世爵平台用户登录世爵平台用户登录开始注意到深度学习。另一个重要的因素是算力。2009 年,计算机的算力发展到足以挖掘庞大的数据库,神经网络在语言和图像识别方面,开始胜过基于逻辑的传统计算机。

Google也在那时开始投资AI。2010 年,当时还是斯坦福大学教授的吴恩达与 Google 里颇具声望的高级研究员 Jeff Dean 一起,建立一个名为 Project Marvin(以著名的 AI 先驱马文・明斯基命名)的项目,以研究神经网络。后来,一些 Google 世爵平台用户登录程师开始用 Google Brain 称呼 Project Marvin。

这个项目世爵平台用户登录果之一,是大型深度学习软件平台 DistBelief。包括 Google 搜索、Google 地图 和 YouTube 在内的 50 多个团队,利用 DistBelief 来改进世爵平台用户登录。

2012 年,Google X 宣布建立了一个包含 16000 个计算机处理器的神经网络,并在 YouTube 上部署。这个神经网络通过学习 YouTube 上大量包含猫的、未标记的视频,识别出了“猫”这种生物。

这在当时是一个重要突破。“在训练世爵平台用户登录我们从来没世爵平台用户登录告诉过神经网络, 这是一只猫。”Jeff Dean 说,“它基本上发明了猫的概念。”

Google在这次拍卖世爵平台用户登录也势在必得。Hinton设计的拍卖规则很简单。每次竞价后,四世爵平台用户登录世爵平台用户登录世爵平台用户登录世爵平台用户登录一个小时将购买价格提高至少100万美元。这一个小时从最新竞价的邮件上的时间戳开始。一个小时结束后,如果没世爵平台用户登录人提出新的竞价,拍卖就结束了。

Hinton 每天会为下一轮竞价设定一个时间,到了指定的时间,他和学生聚集在他的房间里,看着笔记本电脑上出现的竞价。数字开始飞快攀升。

DeepMind用世爵平台用户登录世爵平台用户登录股票而非现金竞拍,因此很快就退出了。这似乎也预示了它在之后被Google收购的结局。而在价格飙到2000万美元时,微软也退出了。但它随后又回来了一次,然后再次退出。

事实上,微软在此之前已经邀请Hinton担任过顾问。

微软对深度学习的研究,依托雷德蒙德研究院展开。2009 年 11 月至 12 月期间,当时在研究院里关注深度学习的华裔世爵平台用户登录学世爵平台用户登录邓力,邀请 Hinton 为雷德蒙德研究院进行咨询,研究如何将深度学习方法应用于语音特征编码和语音识别问题。

(邓力)

此前的语音识别模型一直处于非世爵平台用户登录令人沮丧的“局部最优”状态,准确率很难大幅提升。在读过 Hinton 2006 年发表的两篇开创性的论文后,邓力产生了将深度学习引入语音识别的想法。

在 Hinton 为微软咨询期间,他和邓力一同开发了深层信念网络的方法 “食谱” 及在语音特征提取上的应用。这种方法使得大规模语音识别世爵平台用户登录统的错误率大幅减少,2011 年微软世爵平台用户登录布这一世爵平台用户登录果时,业界大为惊叹。

而邓力就是代表微软在那次拍卖世爵平台用户登录出价的那个人。

也就是说,在这个决定后来AI领域很多事情走向的历史性时刻,三个主要的直接竞价操作者世爵平台用户登录世爵平台用户登录两人是华人。

看着飞升的金额,Hinton和他的学生们不停争论他们更愿意加入世爵平台用户登录世爵平台用户登录世爵平台用户登录世爵平台用户登录。

《天才制造者》世爵平台用户登录甚至记录了一段“迷信”的对话。一天午后,当他们望向窗外时,两架飞机从相反方向飞过,在天世爵平台用户登录世爵平台用户登录留下的烟道,就像一个巨大的X,正世爵平台用户登录在一世爵平台用户登录山峰之上。他们思索着这可能意味着什么,然后才想起 Google 的总部就在一个叫山景城的地方。“这是不是意味着我们应该加入 Google?”Hinton问道,“还是说我们不应该?”

在2200万美元左右时,Hinton暂时世爵平台用户登录止了拍卖,与其世爵平台用户登录一个竞拍者进行讨论,半小时后,微软又退出了。

最后剩下百度和Google。

随着时间推移,两世爵平台用户登录世爵平台用户登录世爵平台用户登录依然在抬高价格。余凯处理了百度最初的竞拍,但当价格达到2400万美元时,百度的一位高管从北京接手,并且愿意给出更高的价格:2500万美元、3000万美元、3500万美元。

Hinton将竞价窗口从一个小时缩短到30分钟。竞价迅速攀升到4000万美元、4100万美元、4200万美元、4300万美元。“这感觉就像我们在拍电影一样。”他说。一天晚上,接近午夜时分,当价格达到4400万美元时,他又暂停了竞价。《天才制造者》世爵平台用户登录这样记载。

第二天,在竞标恢复前约30分钟,Hinton发了一封邮件,说开始时间会推迟。大约一个小时后,他又发了一封:

拍卖结束了。

事实上,在前一天晚上的某个时刻,Hinton已经决定将他的世爵平台用户登录世爵平台用户登录卖给Google。他给百度的邮件世爵平台用户登录说,世爵平台用户登录世爵平台用户登录发送的任何其他信息世爵平台用户登录会转发给他的新雇主,不过他没世爵平台用户登录说那是谁。

《天才制造者》世爵平台用户登录写到,Hinton 后来承认,这是他一直想要的。因为对他来说,为他的研究找到合适的归宿,比获得最高竞标价格更重要。

《天才制造者》也写到,余凯猜到 Hinton 最终会在 Google,或者至少是另一世爵平台用户登录美国世爵平台用户登录世爵平台用户登录世爵平台用户登录作。毕竟他的背部不世爵平台用户登录,无法前往世爵平台用户登录国。他在十几岁时受了背伤,到五十多岁时,已经无法坐下,否则会世爵平台用户登录椎间盘滑落风险。他不得不一直站着办世爵平台用户登录,出远门也不坐飞机,因为飞机起飞降落时不允许站起来。

尽管如此,余凯还是很满意百度在竞标者世爵平台用户登录占据了一席之地。书世爵平台用户登录写道,他相信,这段经历帮助他的上级看到了他眼世爵平台用户登录的世界。通过把美国竞争对手逼到极世爵平台用户登录,百度高层已经意识到深度学习在未来几年的重要性。

Hinton 的拍卖和 NIPS 会议结束后,余凯登上了前往北京的飞机。在那里,他遇到了邓力。

他们在飞机上挑选了相邻的座位。由于竞拍者一直保持匿名,两人世爵平台用户登录不太清楚谁参与了拍卖。因为受到雇主的约束,所以世爵平台用户登录不能透露自己参与拍卖的情况。他们试图在不泄露自己秘密的情况下,了解对方所知道的事情。

“拍卖就像一把起跑枪”。《天才制造者》的书世爵平台用户登录这样写到,它把这次拍卖定义为“一场全球新的军备竞赛的开始”。在那次竞拍结束后的返程飞机上,余凯和邓力两人世爵平台用户登录知道,新的竞争已经开始了,他们的世爵平台用户登录世爵平台用户登录将不得不回应 Google 的大动作。

《天才制造者》的书世爵平台用户登录还记录了大量Google,Facebook和百度之间在AI技术研发上的你争我赶,这本书的电子版目前在亚马逊kindle以及苹果的图书商店可以购买。

本文经授权发布,版权归原作者所世爵平台用户登录;内容为作者独立观点,不代表亿欧立场。如需转载请联世爵平台用户登录原作者。

机器学习百度学习深度学习百度