引语:大家好我们是权知星球,开启你独特的知识星际之旅
目录
RazaHabib的完整记录
1.目前,OpenAI的发展受到GPU的严重限制。
2.OpenAI的发展路线图
3.「没有PMF」这个插件短时间内可能不会在API中出现。
4.除了与「类ChatGPT」竞争之外,OpenAI将避免与其客户竞争。
5.监管虽然不可或缺,但开源同样必不可少。
6.比例模型定律仍然适用。
结语
最近,OpenAI的首席执行官SamAltman和AI开发平台HumanLoop的创始人RazaHabib等20多位开发者私下进行了一次讨论会。Sam在这次会议上非常坦率地谈到了目前面临的困境,GPU资源的限制,确定发展路线图的挑战,多模态以及开源等问题。这些内容对于想要从事AI创业的人来说都会有很大的帮助。
会议结束后,RazaHabib撰写了一份详细的会议笔记。我们使用工具将其快速翻译,并希望这篇文章能够给大家带来最新的思考和启发。
1.OpenAI的发展受到GPU限制很大,需要更多的GPU才能解决ChatGPT面临的技术瓶颈。
2.OpenAI目前的首要任务是降低GPT-4的成本并提高效率。
3.ChatGPT将很快升级,能够支持更多的文字输入(最高可达100万个tokens)。
4.GPT-4的多模态功能(包括视觉识别等)将在2024年才会公开发布。
5.OpenAI正正在思考开源GPT-3的可能性。
RazaHabib的完整记录
在上周的一次会议上,我很荣幸能够与SamAltman和其他20位开发人员一同讨论OpenAI的API及其产品计划。Sam非常乐于接受讨论,并讨论了一些开发人员实际遇到的问题,以及与OpenAI的使命和AI对社会影响有关的重要问题。以下是一些关键要点:
1.目前,OpenAI的发展受到GPU的严重限制。
在讨论的过程中,一个经常被提及的主题是OpenAI目前严重依赖GPU,这给许多短期计划带来了延迟。
OpenAI收到的用户投诉中,最常涉及的问题是关于API的可靠性和速度。Sam先生深刻理解用户的担忧,并解释道,这些问题主要是由于GPU资源的短缺所导致的。
ChatGPT此前支持的32ktokens上下文功能还不能推广给更多的人,OpenAI还有一些问题需要解决,因此,尽管他们可能很快就会有100k-1M的tokens上下文窗口(今年内),但还都需要在研究上取得突破。
由于OpenAI仍面临一些问题,ChatGPT之前支持的32ktokens上下文功能无法普及到更广泛的用户。虽然他们可能会在今年内实现100k-1M的tokens上下文窗口,但在研究上仍需要取得突破。
目前,微调API也受限于GPU资源。他们还未使用像Adapters或LoRa这样高效的微调方法,因此微调的运行和管理相对消耗计算资源。未来会有更加优化的微调方式,也可能会开发一个社区贡献模型的市场。
GPU资源的限制也同样影响了专用容量的供应。针对有私人需求的客户,OpenAI提供了专用容量,让客户在独立的空间中运行私人数据。如果客户想要使用该服务,需要预先承诺支付10万美元。
2.OpenAI的发展路线图
Sam公开了OpenAIAPI的近期规划路线图。
2023:
让GPT-4变得更加廉价和更快是OpenAI现在的首要任务。总体而言,OpenAI的目标是尽可能地降低“智能”的成本,因此他们将努力继续降低“API”的成本。
未来可能实现更大的上下文窗口——最高可达一百万个词元。
微调API将扩展到最新的模型,但具体形式将由实际需求决定,由开发者自行决定。
当你使用有状态的API时,今天调用聊天API,你可能需要多次传递相同的对话历史或支付相同的tokens。未来,将会推出一种记住对话历史的API版本。
2024:
多模态是GPT-4发行版的一部分演示,但在获得更多GPU资源之前,无法扩展到所有用户。
3.「没有PMF」这个插件短时间内可能不会在API中出现。
许多开发人员对使用API访问ChatGPT插件很感兴趣,但是Sam表示他认为短期内不会发布这些插件。从使用情况来看,开发人员还没有找到插件的PMF,除了浏览以外。
他说,许多人认为他们希望他们的应用程序能够被放入ChatGPT中,但实际上他们真正想要的是应用程序内置ChatGPT。
4.除了与「类ChatGPT」竞争之外,OpenAI将避免与其客户竞争。
许多开发者都担心使用OpenAI的API会遇到最终发布与他们竞争的产品的情况。但是Sam表示,OpenAI除了发布ChatGPT外,不会再推出其他产品。
Sam表示,按照传统,优秀的平台通常会拥有杀手级应用。ChatGPT通过让用户成为其产品的客户,将使API更加出色。ChatGPT的目标是成为出色的工作智能助手,但OpenAI不会涉足其他许多GPT的应用场景。
许多开发人员表达了他们的顾虑,担心OpenAI会对他们的产品开发出具有竞争力的强大产品,因此他们对使用OpenAIAPI保持谨慎态度。针对这种情况,Sam表示OpenAI不会发布除ChatGPT外的其他新产品。
5.监管虽然不可或缺,但开源同样必不可少。
尽管Sam主张对人工智能的未来进行监管,但他并不认为现行模式存在危险,并且认为对现有模式进行监管或禁止将是一个严重错误。
他再次表明了他对于开源的重视,并表示OpenAI正在考虑将GPT-3公开。他们一直未公开的原因是因为他们认为没有多少个人或公司能够妥善管理这么大的语言模型。
6.比例模型定律仍然适用。
近期有不少文章称「巨型人工智能模型的时代已经结束」,但这种说法并不完全准确。
根据OpenAI的内部数据表明,模型的性能与规模成正比,即模型越大性能越强。
需要注意的是,由于OpenAI在短短几年内将其模型扩大了数百万倍,这种扩展速度是无法持续的。OpenAI将继续努力将模型做得更大,但每年的规模可能只会增加一倍或两倍,而不是增加大量数量级。
实际上,如果扩大模型规模,将对AGI开发的时间表产生重大影响。扩大规模的思路是,我们可能已经完成了所需构建AGI的大部分工作,其余的工作将主要采用现有方法,以更大的模型和更大的数据集为基础进行扩展。
如果企业规模扩张的时代已经结束,那么我们应当认为实现人工智能(AGI)仍将是一个遥远的目标。然而,比例定律的普遍适用仍然意味着我们在更短的时间内将实现AGI的可能性更大。
结语:
权知星球,开启你独特的知识星际之旅!点亮你的创造力,闪耀在知识的星光下,成为知识传播的新时代先锋!一起探索AI智能领域的奇妙世界,让创意与智慧在这里绽放!