编辑:润 Lumnia
【导读】最近众多网友反应GPT-4不好用了,后悔充值了。后来网友爆出OpenAI采用MOE重新设计了构架,导致性能收到影响,但是官方一直没有明确答复。
最近一段时间,很多OpenAI的用户反应,GPT-4变傻了!
大家普遍认为GPT-4从5月份开始,生成内容的速度变快了,但是内容的质量下降很严重。
甚至有OpenAI论坛中的用户把自己生成的内容贴了出来,说对比2个月前相同的prompt生成的内容,现在GPT-4的能力最多能叫GPT-3.6。
纷纷表态心疼自己出的这每个月的20刀。
不过看完这么多GPT-4重度用户的吐槽之后,小编突然开始感叹:
GPT-4确实是领先太多了。
领先程度已经到了,其他家的大模型都在加班加点的几天出一个更新版本,希望尽快赶上OpenAI。
他自己家倒好,悄悄「降本增效」「反向升级」,当起了大模型圈里的「反内卷标兵」。
可能导致性能衰退的原因
对于GPT-4表现降级,用户似乎都已经达成共识,已经开始讨论GPT-4「衰退」的原因了。
根据外媒报道,有些语言模型领域内的专家猜测,OpenAI正在创建多个行为类似于大型模型但运行成本较低的小型GPT-4模型。
根据一个名叫Sharon Zhou的专家的说法,OpenAI采用了一种称为「混合专家模型」(Mixture of Experts,MOE)的构架来搭建GPT-4。
每个较小的专家模型都在不同的任务和主题领域进行训练。
可能会有一个专门针对生物学的迷你GPT-4模型,或者其他专门针对物理、化学等领域的迷你模型。
当一个GPT-4用户提问时,新系统判断之后会把提示发送给某一个或者几个专家模型。
「这个思路已经存在一段时间了,这是一个自然的发展方向。」Zhou说。
Zhou将这种情况比作「忒修斯之船」,船上的各个部件被逐渐更换,整条船慢慢变成了一条新船。
她说:「OpenAI正在将GPT-4变成一支由小型船只组成的船队。
从我的角度来看,这是一个新模型,但是可能很多人也不会在意这个变化。」
在本周网上泄露了关于GPT-4大量参数细节之后,很多大佬们也针对里面提到的MoE部分给出了自己的评价。
Allen人工智能研究所创始首席执行官Oren Etzioni在外媒的采访中写到:「我觉得这些猜测大致是准确的,虽然没有办法确切证实。」
他解释说,使用MOE有两个主要原因:更好的生成响应和更便宜、更快的响应。
Etzioni补充说:「正确的搭配混合专家模型将同时保证这两方面的优势,但和任何事情一样,成本和质量之间通常是需要取舍的。」
如果这种假设成立的话,OpenAI在降低成本方面可能确实牺牲了一些质量。
另一个佐证就是,OpenAI的创始人Greg Brockman曾在自己共同参与的研究中提到了MOE这一技术路径。
「通过混合专家模型的(MoE)方法,每次只使用网络的一小部分来计算任何一个输入的输出。这可以在不增加计算成本的情况下增加更多参数。」Brockman和他的同事Lilian Weng在论文中写道。
性能下降可能和消除有害内容有关
除了大佬从技术层面的解析外,网友也纷纷从各个角度进行揣测。
有些网友觉得可能是OpenAI相对保守的道德政策降低了模型回复的质量。
在OpenAI官方论坛中GPT相关的子版块,那些认为ChatGPT的性能遭到了「降级」的帖子中,许多人提到了ChatGPT在OpenAI采取新的内容限制之前对于Prompt的包容性有了很大的变化。
侧面支持了OpenAI可能出于安全性的考虑,控制了模型的输出能力和范围的观点。
在YCombinator的讨论中,有网友提出,从OpenAI开始宣布关注安全问题以后,模型的表现就越来越糟糕。
以GPT-4在最初发布报告中,让GPT-4使用TikZ(TikZ可能是在LaTex中创建图形元素的最复杂,最强大的工具)绘制独角兽这一任务为例,在后续发布的GPT-4中难以复现报告上的结果,而且表现也越来越差。
另一方面,网友认为GPT-4性能衰退的原因,可能是人类出于安全考虑向GPT-4灌输了一套相互矛盾的信念。
而这种为了安全选择消除「坏念头」的做法,显而易见会阻止GPT-4对事物更加深刻的认识和理解。
事实上,OpenAI设置了各种过滤器来防止恶意行为,例如暴力,种族主义或仇恨言论。
但是,这些过滤器通常会干扰正常的使用,例如小说写作、思想头脑风暴以及其他形式的创作。
虽然很难衡量这些变化的影响,但OpenAI的创始人Sam Altman承认了政策限制会干扰用户体验。
除此之外,在5月29日Humanloop联合创始人Raza与Sam Altman的对话中,Altman提到了OpenAI目前严重受到GPU数量的限制。
在ChatGPT突破了1亿用户大关、月活达到18亿次的情形下,OpenAI的服务器经常超负荷运转。
而算力的紧缺不仅推迟了他们许多短期计划,也导致了许多来自客户对GPT回答内容可靠性的抱怨和争议。
也许原因在这届网友身上?
在官方技术发言人Logan.GPT的回应中,表明了GPT-4在API模式中质量并没有下降。
而就在昨天,OpenAI产品副总裁Peter Welinder评论了这一传言。
「不,我们没有让GPT-4变笨,恰恰相反:我们让每个新版本都比前一个版本更聪明。」
对于网友提出的问题,他的理解是,「当你更多地使用它时,你会开始注意到以前没有注意到的问题。」
言下之意是,GPT-4本来就没之前那么强,现在的GPT-4才是它真正的实力。
有那么一丝凡尔赛的感觉。
果然网友不是很买账,在推文下不停回怼。
你说你没改过,然后又说每个版本都更好了,不是自相矛盾吗?
你说的这个假设不成立,同样的提示词7月的回答就是比6月的差!
不过,确实有网友对GPT-4的性能衰退也有不同的解释:
从感知退化的心理学角度来说,在GPT-4初次曝光带给人们的惊喜消失,并逐渐深入我们日常生活使用后,人们就会对它的能力习以为常。
新鲜劲儿一过,用户对其的容忍度也随之降低,转而更加关注技术和使用上的缺陷。
此外,在 Reddit 上发帖认为GPT-4性能衰退的网友,在最近的更新中表明,那天的提问可能是受到了心态的影响,因为在这之后的GPT-4工作一直都很顺利。
参考资料:
https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/
最后推荐下ChatGPT前沿玩法圈:
现在价格只有169元,过400人后,马上就会涨价一波,直到涨到原价999。目前加入都是最低价格。
所以如果你真的感兴趣,一定建议这个阶段加入,我们特别推荐,加入知识星球3天内如果不满意,可以无理由退出,然后款项原路返回,你也没损失.
哪怕你进去逛了3天,相关资料打包都拿走了,都是可以的,至少可以让你学习到一些内容。一个人格局要打开。只要你在做有价值的事情,总有人会认可你的。
不到一个月时间,我们输出了100+内容,3大专栏内容更新了58+文章:
不到一个月时间,我们输出了100+内容,3大专栏内容更新了58+文章:
我会把我玩ChatGPT的经验和总结,除了我不会研发ChatGPT,其他诸如Midjourney,GPT Plus,ChatGPT PDF,ChatGPT XMind,ChatGPT PPT 会以专栏的形式在知识星球更新。
最后再说下这个星球能给大家提供什么:
1、ChatGPT的使用方法,最新资讯,商业价值。
2、一些副业思考、创业案例、落地案例分享。
3、探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
4、剖析和拆解ChatGPT不同的前沿玩法。
5、围绕ChatGPT玩法的变现方式和技巧。
6、围绕ChatGPT提高工作效率。
7、第一时间了解ChatGPT最新版本的发布特性和强超能力
8、掘挖ChatGPT玩法,助力们我的事业,工作,和日常生活
9、加入星球的小伙伴,都有两项额外福利,可以免费获得ChatGPT普通号“独享”账号一个,支持改密码。
陆续更新中…
其它福利还在筹划中… 不过,我给你大家保证,加入星球后,收获的价值会远远大于今天加入的门票费用 !“早”就是优势,建议大家尽早以便宜的价格加入!