省时查报告-专业、及时、全面的行研报告库
省时查方案-专业、及时、全面的营销策划方案库
【免费下载】2023年3月份热门报告合集
万字干货：ChatGPT的工作原理
2023年创业（有创业想法）必读手册
ChatGPT等让你效率倍增的22个AI工具
ChatGPT调研报告（仅供内部参考）
ChatGPT的发展历程、原理、技术架构及未来方向
《ChatGPT：真格基金分享.pdf》
2023年AIGC发展趋势报告：人工智能的下一时代
2023年，如何科学制定年度规划？
《底层逻辑》高清配图
来自初创公司 OpenAI 的 ChatGPT （https://chatgpt.zntjxt.com）令人惊叹，其强大功能引发了人们对人工智能的新兴趣和投资热潮。然而，上周末，OpenAI CEO 警告说，孕育出这款聊天机器人的研究策略已经过时了。未来方向在哪儿还不清楚。
OpenAI 近年来通过将现有的机器学习算法扩展到前所未有的规模，实现了一系列令人印象深刻的语言处理人工智能的进步。GPT-4 是这些项目的最新成果，可能使用了数万亿字的文本和数千个强大的计算机芯片进行训练。这个过程的成本超过了 1 亿美元。
然而，公司 CEO Sam Altman 表示，更进一步的发展不会来自于制作更大的模型。“我认为我们已经到了这种大型、大型模型的时代尾声。” 他在上周末在麻省理工学院举行的一场活动上告诉听众。“我们将以其他方式使它们变得更好。”
Altman 的声明暗示了在开发和部署新 AI 算法竞赛中一个意想不到的转折。自从 OpenAI 在 11 月推出 ChatGPT （https://chatgpt.zntjxt.com）以来，微软已经利用其底层技术为其 Bing 搜索引擎增加了一个聊天机器人，谷歌也推出了一个名为 Bard 的聊天机器人来与微软竞争。许多人争先恐后地尝试使用新一代聊天机器人来协助完成工作或个人任务。
与此同时，许多资金充足的初创公司，包括 Anthropic、AI21、Cohere 和 Character.AI，都在投入大量资源，试图建立更大的算法以迎头赶上 OpenAI 的技术。最初的 ChatGPT 是基于 GPT-3 稍作升级的版本，但用户现在也可以使用由更强大的 GPT-4 驱动的版本。
Altman 的声明表明，GPT-4 可能是 OpenAI 通过扩大模型规模和提供更多数据的策略实现的最后一个重大突破。他没有说明可能取代这种策略的研究方法或技术。在描述 GPT-4 的论文中，OpenAI 表示，其估计结果表明，模型规模的扩大将带来收益的递减。Altman 还表示，公司建造数据中心的数量和速度也存在物理限制。
Cohere 的联合创始人 Nick Frosst，此前曾在谷歌从事人工智能工作，他表示赞同 Altman 的观点，即不断扩大规模并不是永久性的解决方案。他还认为，基于 Transformer（一种机器学习模型，是 GPT-4 及其竞争对手的核心）的机器学习模型的进步超越了扩展。他说：“有很多方法可以使 Transformer 变得更好、更有用，而其中很多方法并不涉及为模型添加参数。”Frosst 表示，新的人工智能模型设计或架构以及基于人类反馈的进一步调整，是许多研究人员已经在探索的有前景的方向。
OpenAI 颇具影响力的语言算法家族的每个版本都包含一个人工神经网络，这是一种受神经元协同工作方式启发的软件，用于训练预测给定文本串后应该出现的单词。
这些语言模型的第一个版本 GPT-2 于 2019 年发布。它拥有 150 亿个参数，这是衡量其原始人工神经元之间可调连接数量的指标。
当时，与之前的系统相比，这是一个非常庞大的模型，这在很大程度上要归功于 OpenAI 研究人员发现，扩大模型可以使其更加连贯。此外，该公司还推出了 GPT-2 的继任者 ——2020 年发布的 GPT-3，其参数数量更是高达 1750 亿。这个系统能够生成诗歌、电子邮件和其他文本，使用范围更广，这使得其他公司和研究机构深信，将他们自己的 AI 模型发展到与之类似或者更强大是可行的。
ChatGPT(国内可以直接访问的链接：https://chatgpt.zntjxt.com)于 11 月份亮相后，制造者和科技评论家纷纷猜测，GPT-4 的到来将带来一个令人目不暇接的庞大且复杂的模型。然而，当 OpenAI 最终宣布这个新的人工智能模型时，该公司并没有透露它有多大 —— 也许是因为规模已经不再是唯一重要的因素。在麻省理工学院的活动中，有人问 Altman，训练 GPT-4 花费了 1 亿美元吗？他回答道：“实际上，这个数字要比这还要大。”
尽管 OpenAI 对 GPT-4 的规模和内部工作原理保密，但可以肯定的是它的部分智能已经超越了单纯的规模。有可能的一种方法是使用 “人类反馈强化学习”，这种方法曾用于改进 ChatGPT。它让人类评判模型回答的质量，从而引导模型提供更有可能被评为高质量的回答。
GPT-4 强大的功能令一些专家感到震惊，并引发了关于 AI 如何改变经济、传播虚假信息以及消灭就业机会的争论。一些 AI 专家、科技企业家（包括 Elon Musk）以及科学家最近联名发表了一封公开信，呼吁暂停开发比 GPT-4 更强大的技术六个月。
本月在麻省理工学院，Altman 证实他的公司目前并未研发 GPT-5。他说：“公开信的早期版本声称 OpenAI 正在训练 GPT-5。实际上我们并没有，而且在一段时间内都不会。”
「 更多干货，更多收获 」
【免费下载】2023年3月份热门报告合集
【限时免费】ChatGPT4体验，无需翻墙直接用
2023年创业（有创业想法）必读手册
ChatGPT等让你效率倍增的22个AI工具
ChatGPT调研报告（仅供内部参考）
ChatGPT的发展历程、原理、技术架构及未来方向
《ChatGPT：真格基金分享.pdf》
2023年AIGC发展趋势报告：人工智能的下一时代
推荐系统在腾讯游戏中的应用实践.pdf
推荐技术在vivo互联网商业化业务中的实践.pdf
2023年，如何科学制定年度规划？
《底层逻辑》高清配图
推荐技术在vivo互联网商业化业务中的实践.pdf
推荐系统基本问题及系统优化路径.pdf
荣耀推荐算法架构演进实践.pdf
大规模推荐类深度学习系统的设计实践.pdf
某视频APP推荐策略详细拆解（万字长文）
