谷歌内部泄露:我们和 OpenAI 都赢不了,因为正被“开源”偷家!

整理 | 郑丽媛、出品 | CSDN(ID:CSDNnews)

由 ChatGPT 掀起的 AI 大模型之战,已在全球范围内持续了几个月,其中业界尤为关注的,就是 OpenAI 和谷歌二者之间的博弈。

曾经,2017 年率先发布的 Transformer 为谷歌奠定了 LLM 的基石,2021 年聊天机器人 LaMDA 的亮相更是一度惊艳圈内。当时多数人都认为,这场 AI 大棋谷歌既已布局多年,又具有先发优势,必将稳稳占据王座——不曾想,最终抢得先机的却是 OpenAI 这匹“黑马”,而谷歌反倒从 AI 领域的“老大哥”沦为了被动的“追赶者”。

那么,究竟谁会最终赢得这场旷日持久的 AI 大战?是抢占先机的 OpenAI,还是厚积薄发的谷歌?

对此,近来在 Discord 群组由匿名人士泄露的一份谷歌内部文件给出了第三个可能:“我们没有赢得这场竞争,OpenAI 也没有。当我们还在争吵时,第三个方已经悄悄地抢了我们的饭碗——开源。

接下来,就让我们看看这份谷歌“内部泄露”的文件,是如何分析目前全球 AI 大战的走势及发展的。

我们没有护城河,OpenAI 也没有

我们一直在关注 OpenAI 的动态,谁会跨越下一个里程碑?下一步将是什么?

但不舒服的事实是,我们没有赢得这场竞争,OpenAI 也没有。当我们还在争吵时,第三方已经悄悄地抢了我们的饭碗。

当然,我指的是开源。简而言之,他们正在超越我们。我们认为的“主要开放问题”如今已经解决,并已投入人们使用。仅举几个例子:

▶ 手机上的 LLMs:人们在 Pixel 6 上运行基础模型,速度为 5 tokens/ 秒。

▶ 可扩展个人化 AI:你可以在晚上用笔记本电脑微调个性化 AI。

▶ 负责任的发布:这个问题并没有“解决”,而是“避免”了。整个互联网上都是没有任何限制的艺术模型网站,而文本也不远了。

▶ 多模态性:当前多模式 ScienceQA SOTA 训练时间为 1 小时。

虽然我们的模型在质量方面仍略胜一筹,但差距正在惊人地缩小。开源模型更快、更可定制、更私密,能力也更强大。他们用 100 美元和 13B 参数做到了我们花费 1000 万美元和 540B 参数都难以达成的事情。而且他们只需要几周就能完成任务,而不是几个月。这对我们有深远的影响:

▶ 我们没有秘密配方。我们最希望从谷歌以外的其他人那里学习和合作,我们应该优先考虑启用第三方集成。

▶ 当免费、无限制的替代品在质量上相当时,人们不会为一个受限制的模式付费。我们应该考虑我们的附加值到底在哪里。

▶ 巨大的模型正在拖慢我们的步伐。从长远来看,最好的模型是可以快速迭代改进的模型。现在,既然知道了 20B 参数范围内可能实现什么,小变体就不应再被视为事后补救措施了。

d98eb114c4cd33e8ae6a26410f124e4b.png

发生了什么

三月初,开源社区得到了他们的第一个真正有能力的基础模型——Meta 的 LLaMA 被意外泄露了。它没有指令或对话调整,也没有 RLHF。尽管如此,社区立即理解了他们所得到的东西的重要性。

随后,巨大的创新涌现出来,在主要进展之间只有几天时间(请参阅时间表以获取完整细节)。在短短不到一个月的时间里,已经出现了具备指令调整、量化、质量改进、人类评估、多模态和 RLHF 等变体,其中许多都是相互建立的。

最重要的是,他们解决了扩展问题,在一定程度上任何人都可以进行实验。许多新想法来自普通人,培训和实验门槛从主要研究机构总产出降至一个人、一个晚上和一台强大的笔记本电脑。

为什么我们本可以预见到这一点

从许多方面来看,这对任何人都不应该是一个惊喜。目前开源 LLM 的复兴是紧随图像生成的复兴而来的。社区没有忽视这些相似之处,许多人称其为 LLM 的“Stable Diffusion 时刻”。

在两种情况下,低成本公共参与得以实现,原因是有了名为低秩适应(LoRA)的大幅度降价机制,并结合规模上的重大突破(图像合成中的潜在扩散和 LLMs 中的 Chinchilla)。在这两种情况下,获得足够高质量模型启动了世界各地个人和机构涌现出一系列想法和迭代。在两种情况下,这很快超过了大公司。

这些贡献在图像生成领域非常关键,使 Stable Diffusion 走上了与 Dall-E 不同的道路,使其拥有一个开放的模式,导致了产品整合、市场、用户界面和创新,而这些都是 Dall-E 没有的。

其效果可想而知:文化影响力迅速占据主导地位,OpenAI 解决方案变得越来越无关紧要。同样的事情是否会发生在 LLM 上还有待观察,但广泛的结构元素是相同的。

我们错过了什么

开源近年来取得成功的创新,直接解决了我们仍在努力解决的问题。多关注他们的工作可能有助于避免重复造轮子。

LoRA 是一种非常强大的技术,我们应该更加关注它。

LoRA 通过将模型更新表示为低秩分解来工作,这将更新矩阵的大小减少了数千倍,使得模型微调成本和时间降至最低。能够在消费级硬件上在几个小时内个性化语言模型对于涉及实时整合新知识和多样化知识方面具有重要意义。尽管这项技术直接影响了我们最雄心勃勃的项目,但谷歌公司内部对其利用还不足。

从头开始重新训练模型是一条艰难的道路

LoRA 之所以如此有效,部分原因在于它像其他形式的微调一样可堆叠。例如,可以应用指令微调等改进,并在其他贡献者添加对话、推理或工具使用时加以利用。虽然单个微调级别较低,但它们的总和不需要,允许模型的全等级更新随着时间的推移而积累。

这意味着,随着更新和更好的数据集和任务的出现时,模型可以廉价地保持更新,而无需支付完整运行成本。

相比之下,从头开始训练巨大的模型不仅会丢弃预训练内容,还会丢弃已经进行过的迭代改进内容。在开源世界中,这些改进不需要很长时间就会占据主导地位,这使得全面重新训练的成本极其高昂。

我们应该深思熟虑,每个新的应用或想法是否真的需要一个全新的模型。如果确实有主要架构方面上的改进使得直接重复使用模型权重变得困难,那么应该投资于更积极的提炼形式,让我们尽可能地保留前一代的能力。

如果我们可以更快地迭代小模型,那么长期来看,大模型并不会更具优势

对于最受欢迎的模型尺寸,LoRA 更新非常便宜(约 100 美元),这意味着几乎任何有想法的人都可以生成并分发一个。训练时间少于一天是正常的,在这种速度下,所有这些微调的累积效应不需要很长时间就可以克服开始时的尺寸劣势。事实上,就工程师时间而言,这些模型的改进速度远远超过了我们最大的变体所能做到的,而且最好的模型已经与 ChatGPT 基本没有区别了。专注于维护全球一些最大规模的模型实际上会使我们处于不利地位。

数据质量比数据大小更重要

许多项目通过在小型、高度筛选的数据集上进行训练来节省时间。这表明,数据缩放规律具有一定的灵活性。这些数据集是使用合成方法构建的(例如从现有模型中过滤出最佳响应),并且从其他项目中获取,但这两种方法在谷歌都不占优势。幸运的是,这些高质量的数据集是开源的,因此可以免费使用。

直接与开源竞争是一个失败的命题

这些最近的进展对我们的业务策略有直接、即时的影响。如果存在一个没有使用限制且质量高的免费替代品,谁还会为谷歌产品付费呢?

而且我们不应该期望能够追赶上来。现代互联网之所以运行在开源基础上,是因为开源具有一些重要优势,而这些优势是我们无法复制的。

我们需要他们,胜过他们需要我们

保守我们的技术秘密一直是一个不稳定的主张。谷歌的研究人员经常离开,前往其他公司,所以我们可以假设他们知道我们知道的一切,并且只要这条渠道仍然存在,他们就会继续知道。

但是,在低廉成本下进行 LLMs 领域尖端研究,使得保持技术竞争优势变得更加困难。世界各地的研究机构都在彼此的工作基础上,以广度优先的方式探索解决方案的空间,远远超过了我们自己的能力。在外部创新削弱其价值时,我们可以试图紧紧抓住自己的秘密,或者尝试从彼此中学习。

个人不像公司那样受许可证的限制

这种创新大部分是在 Meta 泄露的模型权重基础上进行的。虽然随着真正开放的模型变得更好,这种情况将不可避免地发生改变,但问题是,他们不必等待。由于“个人使用”的法律保护和起诉个人的不现实性,意味着个人可以趁热打铁获得这些技术。

成为自己的客户意味着您了解用例

浏览人们在图像生成领域创建的模型时,有大量创造力涌现出来,从动漫生成器到 HDR 风景。这些模型是由那些深深沉浸在他们特定的子类型中的人使用和创造的,赋予了我们无法企及的知识深度和同理心。

拥有生态系统:让开源为我们服务

矛盾的是,所有这一切中唯一明确的赢家是 Meta。因为泄露的模型是他们的,所以他们有效地获得了全球价值连城的免费劳动力。由于大多数开源创新都发生在他们架构之上,没有什么能阻止他们直接将其纳入产品中。

拥有生态系统的价值不言而喻,谷歌本身已经成功地在其开源产品(如 Chrome 和 Android)中使用了这种模式。通过拥有创新发生的平台,谷歌巩固了自己作为思想领袖和方向制定者的地位,并赢得了塑造超越自身思想叙述的能力。

我们控制模型越严格,就会使开放性替代方案更具吸引力。谷歌和 OpenAI 都采取了防御性发布模式来保持对其模型使用方式严格控制。但这种控制是虚幻的,任何想要将 LLMs 用于未经批准的目的的人,都可以简单地从免费提供的模型中挑选。

谷歌应该成为开源社区领导者,在与广泛对话合作时带头行动,而不是忽视它。这可能意味着采取一些不舒适的步骤,比如发布小型 ULM 变体的模型权重。这必然意味着放弃对我们模型的某些控制,但这种妥协是不可避免的,我们不能希望既推动创新又控制创新。

结语:OpenAI 怎么样?

鉴于 OpenAI 目前的封闭政策,所有这些关于开源的讨论都会让人觉得不公平。如果他们不分享,我们为什么要分享呢?但事实是,在高级研究员不断流失的情况下,我们已经在与他们分享一切。在我们阻止这种趋势之前,保密就没有意义。

最终,OpenAI 并不重要。他们在相对于开源的姿态上犯了和我们一样的错误,他们保持优势的能力必然受到质疑。除非他们改变立场,否则开源替代品最终将超越它们。至少在这一点上,我们可以先下手为强。

网友:谷歌没有护城河,不见得 OpenAI 也没有

以上便是谷歌内部泄露文件的大部分内容,对于文中所笃定的“开源将是最后赢家”的说法,迅速在网上引起了激烈讨论,多数人对此并不认同。

▶ “让我产生共鸣的部分是,与开源社区合作可能会让一个模型改进得更快。但我想说的是,用户会去找谁的模型最好,制胜的策略是让你的模型在质量上迭代得更快更好更持久,而开源并不总是在这方面获胜。

因此,我认为有一个启示:开源将在用户通常是软件开发者的领域获胜,因为他们可以对自己使用的产品进行改进。而闭源将在其他领域获胜。”

▶ “这么说来,拥有足够的规模来永久提供免费/低成本计算是一条护城河,但谷歌没有护城河,不见得 OpenAI 也没有:ChatGPT 风靡一时的主要原因就是因为它是免费的,且没有任何限制,但目前谷歌不是。”

▶ “普通人进入 ChatGPT 的门槛很低,而使用开源替代品的门槛却很高。同时 OpenAI 与谷歌不同,ChatGPT 是他们唯一的产品、全部的焦点,所以OpenAI 仍能非常快速地改进。

此外,对于大多数消费者来说,现如今 AI == ChatGPT,OpenAI 现在拥有最好的市场份额,这意味着有最多的用户反馈来改进他们的产品,他们ye可以快节奏地迭代。“

那么,你对于这份谷歌内部泄露文件的说法,又有什么看法呢?

参考链接:

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither?continueFlag=bd4fddecd5a8db3ad9503af53320e97c

https://news.ycombinator.com/item?id=35813322&p=2

------

我们创建了一个高质量的技术交流群,与优秀的人在一起,自己也会优秀起来,赶紧点击加群,享受一起成长的快乐。另外,如果你最近想跳槽的话,年前我花了2周时间收集了一波大厂面经,节后准备跳槽的可以点击这里领取!

推荐阅读

  • BingChat 全面开放!无需等待,人人可用!

  • GitLab CI/CD:开发和运维管理的效率神器

  • Deno推出高性能键值数据库Deno KV

··································

你好,我是程序猿DD,10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来,给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来,多思考、少抱怨、勤动手,就很容易实现弯道超车!所以,不要问我现在干什么是否来得及。如果你看好一个事情,一定是坚持了才能看到希望,而不是看到希望才去坚持。相信我,只要坚持下来,你一定比现在更好!如果你还没什么方向,可以先关注我,这里会经常分享一些前沿资讯,帮你积累弯道超车的资本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33067.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

贾扬清官宣:从阿里离职,或将投身AI创业!

点击下方卡片,关注“CVer”公众号 AI/CV重磅干货,第一时间送达 点击进入—>【计算机视觉】微信技术交流群 转载自:机器之心 贾扬清从阿里巴巴正式毕业,计划走向职业生涯的下一个挑战。 近段时间,ChatGPT 与大模型的…

阿里副总裁贾扬清回应:确认离职,或投身AI架构创业!

来源:机器之心 近段时间,ChatGPT 与大模型的爆火,又吸引了整个科技领域以及投资圈对 AI 的关注。最近也爆出了许多学术界、业界 AI 大佬投身创业潮的消息。 知名人工智能科学家贾扬清从阿里巴巴离职创业的信息也被爆出,贾扬清本人…

【人工智能】大模型基础概念、核心技术、应用场景和未来发展

目录 一、大模型概述 二、大模型的发展历程 三、大模型的核心技术 1. Transformer结

BFT 最前线 | 腾讯发布Q1季报;超2000伙伴测试阿里云通义千问;黄仁勋:芯片是NVIDIA加速与AI计算的的“理想应用”

原创 | 文 BFT机器人 AI视界 TECHNOLOGY NEWS 01 阿里云:超2000伙伴测试通义千问 行业专属大模型将成趋势 2023阿里云常州峰会上,阿里云智能中国区总裁黄海清透露:目前通义千问大模型已有超2000个合作伙伴进行测试。未来大模型面向各行各…

Open AI 新论文:通过“过程监督”来改进数学推理

本文经授权转载自「图灵社区公众号(ID:ituring_book)」 英文原文链接:https://openai.com/research/improving-mathematical-reasoning-with-process-supervision 我们训练了一个模型,通过对每个正确的推理步骤进行奖励…

下周,GPT-4就要来了!

来源:机器之心 我们知道,引爆如今科技界军备竞赛的 ChatGPT 是在 GPT-3.5 上改进得来的,OpenAI 很早就预告 GPT-4 将会在今年发布。最近各家大厂争相入局的行动似乎加快了这个进程。 最新消息是,万众期待的 GPT-4 下周就要推出了&…

从用户的角度谈GPT时代技术突破的两大关键逻辑

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

发送短信功能模块

由于项目在注册、登录、找回密码 时需要发送短信验证的功能,我们使用腾讯云短信做。 为什么要用腾讯云短信呢? 因为注册就送 100条免费短信 的额度。哈哈哈哈,发短信的功能你就不用花钱了。 1.注册腾讯云 & 开通云短信 注册一个腾讯云…

怎么用106短信平台来发送营销短信?手把手教你轻松掌握

现如今,很多商家和企业都有短信发送的需求,因为很许多的企业和商家都需要106短信平台类推广自己最新的产品,以及促销活动等。要知道,短信平台,不仅价格便宜,而且精准获客,那么, 怎么…

个人用户实现发送短信功能

准备工作 因为国家政策 ,阿里云和其他的大型短信调用网站审核严格所以我们用比较普通的榛子云来练习短信验证 了解阿里云短信码 登录阿里云,选择短信服务 首先要了解发送短信的四个步骤 进入申请签名,查看大致内容,可以看到这边…

ChatGPT文本自动生成有哪些应用

ChatGPT具有强大的文本生成能力,能够模拟人类的语言和情感表达,对文字工作产生了重要影响。对于我们从事文字工作的小伙伴而言,ChatGPT的出现对我们的影响是首当其冲的,今天跟大家分享ChatGPT在文字创作方面有哪些影响。 自动化文…

简单的小程序聊天对话窗口界面

一个简单的微信小程序聊天对话窗口界面,包括发送文本功能 直接上代码,js代码: // 简单版 Page({data: {content: ,// 当前登录者信息login: {id: 2023,user: 大猪蹄子,avatar: https://img2.baidu.com/it/u1581320883,910100018&fm253&app53&sizew500&n0&…

聊天记录怎么录视频 微信聊天记录屏幕录制

互联网的发展,手机交流代替了面对面交流,手机交流更加方便快捷,也带来了一些便利,拉近了人与人之间的距离,现在大家都习惯在网上聊天了,聊天如果不删掉的话,就会有记录的。有的小伙伴想要录制成…

摆地摊又被城管赶了

文|洪生鹏 下班回家路过驿站顺便取了个快递,突然一阵阵砰砰的声音传来,好刺耳。 原来是城管来了,摆地摊的人纷纷推着车子往这边赶来,有卖水果的,有做小吃的,也有卖衣服。 摊主们得知城管来了,推…

程序员摆地摊能接到活吗?码农地摊卖什么能挣到外快钱?

现在全民摆地摊,做为一个码农,也是蠢蠢欲动,思来想去不知道卖什么好?看到好多同事下了班都着急回家出摊,挣外快, 同事们闲暇时间说来话去的也都是地摊经济,做一个有出息的程序员,我们…

摆摊吗?我卖锅,你修手机。

由于疫情的影响 国家开始鼓励地摊经济。 我们来看看,搞工程和搞电子的人摆摊能什么。 先看,搞工程的人是这样摆摊的! 而搞电子的人是这样摆摊的! PCB工程师 测试工程师 射频工程师 单片机工程师 器件工程师 EMC工程师 芯片工程师 …

在微信上怎么开店卖东西?

在微信上怎么开店卖东西?在微信上开店卖东西主要需要小程序,而小程序也是我们常说的小程序店铺,有了小程序才能在微信上开店卖东西。那么我们怎么制作小程序在微信上开店卖东西呢?下面给大家讲解一下。 1、小程序账号 在做小程序…

摆摊吧,程序员!

谁都没想到,在2020年 "摆摊"成功接棒"口罩"、"头盔",成了又一个热门话题 一觉醒来,整个朋友圈都在讨论摆摊的事情 以至于还没明白什么是"网红经济"的我 要开始思考"地摊经济"了 那么&…

内向的程序员如何改变自己,试试摆地摊吧

文章目录 程序员为什么要去摆地摊我的真实摆摊经历租摊位采购商品正式开业 为什么看了很多书却没有什么改变彩蛋送个大家一个励志(打鸡血)的故事克服恐惧的演讲 最近地摊经济风生水起,今天聊聊程序员摆地摊的好处,以及我10年前摆地…

企业摆摊新姿势

企业摆摊新姿势 既然是全民摆摊,怎么能少了腾讯等知名大公司的身影。从员工到董事局主席,所有人纷纷拥抱地摊经济,投身到一线战壕。 这位腾讯招聘的小哥,喇叭、军用水壶、黄色安全帽、纸箱,石头,这个可能…