GPT之战，谷歌真的要输了？越来越多顶尖研究员跳槽OpenAI

来源：新智元

近期一场大讨论：为什么越来越多Google顶尖研究员跳槽OpenAI？这场LLM战役它还能打赢吗？

知友回复

莱斯大学博士、知友「一堆废纸」表示，其实谷歌和OpenAI的差距，是数据的差距。

「OpenAI对LLM有强大的执念，这是Google这类公司完全比不上的。当然人的差距只是一个方面，数据的差距以及对待数据的态度才是其成功的关键。人可能可以花钱挖回来，技术可能可以补上，但数据的差距Google短时间内没法追上。」

https://arxiv.org/abs/2303.10158

显然，ChatGPT的成功中，至关重要的一环，就是高质量的标注数据。

「一堆废纸」介绍，OpenAI对数据和标签质量的重视程度令人发指，对标注人员的选择极为严苛（有考试），最后甚至会发放问卷。正是这种执念造就了GPT模型的成功，这是Google根本比不上的。

而随着上亿用户不断给OpenAI提供新的数据，谷歌和OpenAI的差距只会越来越大。

Data-centric AI的理念，奠定了OpenAI的成功。

自然语言处理、深度学习话题的优秀答主「张俊林」表示，OpenAI已经把所有人都甩开了一大截。

包括Google在内，其实对于LLM发展理念的理解，明显都落后OpenAI一个身位。现实是OpenAI表现过于优秀，把所有人都甩开了，不仅仅是国内。我觉得，OpenAI对LLM在理念及相关技术方面，领先国外的Google、DeepMind大约半年到一年的时间，领先国内大概两年左右的时间。

知乎答主「周道道」表示，谷歌近期的翻车和OpenAI以对比，必然给了这些顶尖的研究员巨大的震撼。

另外，据说OpenAI相对谷歌也会给研究员更多的资源和更宽泛的要求，毕竟OpenAI更像是一个研究机构，而谷歌更像是把AI当成产品在研发的部门。

而答主「陈大宝」的回答可谓非常扎心。

未来商业历史会记录两个又经典又嘲讽的案例：

1.柯达发明了数码相机

2.谷歌发明了transformer

图源：「陈大宝」

评论区还惊现了利益相关匿名人士。

又一名匿名人士说到点上了。

知友「飞了个猪的」点出来了谷歌作为大公司的「创新者困境」。

又一利益相关匿名人士出现。

知友「周星楠(Bill)」总结道，谷歌这样的大公司就是要去人材化，基于policy，所有大家都是螺丝钉。

而Insider为我们总结了一篇长文，盘点了这些年从谷歌人工智能团队流失的顶级人才。

人才都去哪了？

谷歌为人工智能领域贡献了一些很重要的研究。然而，该公司在将创新转化为产品方面一直进展缓慢。

因此，顶级人工智能研究人员纷纷离开，去往那些可以产生更大价值和影响的初创公司，例如OpenAI，Character.AI，DeepMind，Cohere，Inceptive。

谷歌已经处于防守地位，时时刻刻会失去人工智能领域领先的地位。而顶级研究人员的离开，更是加剧了这一问题。

Cohere的联合创始团队Ivan Zhang, Aidan Gomez, 和Nick Frosst

虽然谷歌可能处于防守模式，但其实它没必要这样的。该公司自己创造了许多基础技术，为ChatGPT等产品提供动力。它还将其研究作为开放源码提供，这在某种程度上讽刺了OpenAI的迅速崛起。

由于担心该技术会对其业务造成声誉上的损害，谷歌长期以来一直对发布类似于ChatGPT的聊天机器人犹豫不决。

谷歌大型语言模型LaMDA背后的两位研究人员Daniel De Freitas和Noam Shazeer离开了公司，他们对公司迟迟不发布类似ChatGPT的聊天机器人感到沮丧。

其他前谷歌研究人员也认为，在人工智能如此激动人心的时代，创业公司会为研究人员提供成果的所有权，并且自己会发挥更多价值和影响。

以下是人工智能领域最引人注目的一些论文，这些论文的研究人员已经离开谷歌去了别的公司。

Ilya Sutskever

「用神经网络进行序列到序列学习」发表于2014年，这篇序列到序列论文探讨了训练语言模型，将一个领域的单词序列转换为另一个领域的序列。例如，将一个英语句子转换为法语句子。

Ilya Sutskever领导了这篇论文的研究。他在担任了近三年的研究科学家后于2015年离开谷歌。Sutskever是OpenAI的联合创始人，并继续作为其首席科学家在那里工作。

注意力是你所需要的一切

这篇Transformer的重磅论文，如今引用量已经突破七万次。Transformer被认为是自然语言处理方面的一个突破。它通过同时观察句子中的每个词并权衡每个词的重要性来收集上下文的细微差别，从而帮助人工智能理解含义。

而ChatGPT中的「T」代表的就是Transformer，足以见得这篇论文的重要性。

不过，本文的八位作者，除了Llion Jones，都已经离开了谷歌。

Ashish Vaswani在五年后离开了谷歌大脑（谷歌的深度学习人工智能研究团队），创办了Adept公司，该公司最近筹集了3.5亿美元，建立生成性人工智能工具，帮助人们更有效地使用生产力软件。他最近离开了Adept，去了一家隐秘的创业公司。

Noam Shazeer现在是Character.AI的CEO。

Niki Parmar在五年后离开谷歌大脑，担任Adept公司的联合创始人和首席技术官，不过和Vaswani一样，她最近也离开了，去了一家隐秘的创业公司。

Jakob Uszkoreit在谷歌工作了13年，从事神经网络和深度学习。他现在是Inceptive的联合创始人，这是一家利用深度学习来设计新疗法的初创公司。

Aidan Gomez是Cohere公司的联合创始人和首席执行官，该公司已经筹集了大约1.6亿美元，帮助开发者将生成性人工智能纳入他们的应用程序和网站。他在谷歌大脑做了一年半的研究员。而他在Cohere的联合创始人Nick Frosst在谷歌大脑做了四年的研究员。

Lukasz Kaiser在谷歌大脑工作了7年多后离开了谷歌大脑，于2021年加入了OpenAI。Kaiser最近在OpenAI的GPT-4白皮书中被引用为其长语境能力的核心贡献者，他让聊天机器人在忘记讨论的语境之前，可以进行更长的对话。

Illia Polosukhin在谷歌大脑从事了三年的深度学习和自然语言理解工作。他在2017年离开，创办了Pagoda，一个Web3创业平台。

建立一个类似人类的开放域聊天机器人

这个论文介绍了谷歌最初的聊天机器人Meena，探讨了聊天机器人如何通过研究从公共社交媒体对话中搜取的数据来学习谈论话题。它还介绍了谷歌创建的一个来评定聊天机器人说话表现的测试。

这篇论文是大语言建模的另一个重要里程碑，作者认为他们可以在没有硬编码训练的情况下，做出一个大语言模型，对问题产生类似人类的反应。

作者之一Daniel De Freitas在谷歌大脑做了五年的研究员后，担任Character.AI的联合创始人和总裁。

De Freitas在Character.AI的同事Romal Thoppilan对本文也有贡献。

左为Romal Thoppilan；右为Daniel De Freitas

LaMDA：对话应用的语言模型

LaMDA是对话应用的语言模型的缩写，也是聊天机器人Bard的基础。它在2020年作为Meena首次演示，但谷歌从未向公众发布Meena。谷歌人工智能研究部门的前雇员解释说因为谷歌担心机器人会发表有害的评论，这会是一场公关的噩梦。

LaMDA背后的几个主要研究人员已经离开了谷歌大脑。

Daniel De Freitas和Noam Shazeer去年成立了Character.AI这家公司，他们最近筹集了大约2亿美元来创建以各种角色形式说话的聊天机器人，从马斯克到治疗师到生活教练的各种角色。

Romal Thoppilan在谷歌大脑工作了7年之后，担任Character.AI的创始研究员。

Alicia Jin在接近2022年底时加入Character.AI，担任研究工程师。她曾在谷歌大脑工作了三年。

BERT

BERT（Bidirectional Encoder Representations from Transformers）建立在自然语言处理的Transformer模型上，经过预先训练，可以很好地完成两项任务：掩蔽语言建模和对下一句话的预测。换句话说，BERT试图预测隐藏的或「被掩盖的」词语，迫使算法努力学习更多关于周围文本的知识，更好地预测隐藏的词语。

如果你输入「你能为别人的药房买药吗」，它将理解「别人」是查询的一个重要部分。

谷歌早在2019年就开始将BERT纳入搜索引擎之中。这是自2015年纳入另一种机器学习算法RankBrain以来，搜索准确性方面的最大进步之一。

Jacob Devlin是这篇论文的主作者，而他在ChatGPT推出前不久加入了OpenAI。

T5论文的正式名称是「用统一的文本到文本Transformer探索转移学习的极限」，它建立在BERT的基础上，非常适合于翻译和总结等任务。

领导这篇论文的Colin Raffel在2021年离开之前，在谷歌大脑担任了大约五年的研究科学家。目前是联合国大学教堂山分校的助理教授，每周花一天时间在Hugging Face担任研究员。Hugging Face最近宣布，它在2022年5月筹集了1亿美元，公司的估值为20亿美元。用户可以在Hugging Face分享大型语言模型和数据集。