文章目录
- 一. ChatGPT 指令遵循能力下降引发用户投诉
- 1.1 用户抱怨回应速度慢、敷衍回答、拒绝回答和中断会话
- 二. OpenAI 官方确认 ChatGPT 存在问题,展开调查
- 三. OpenAI 解释模型行为差异,回应用户质疑
- 四. GPT-4 模型变更受人事动荡和延期影响
一. ChatGPT 指令遵循能力下降引发用户投诉
1.1 用户抱怨回应速度慢、敷衍回答、拒绝回答和中断会话
不知道大家有没有发现,自 11 月 6 日 OpenAI 的开发者大会以来,ChatGPT 似乎变得越来越懒了?具体而言,这一个月来,陆续有网友发现,ChatGPT 在其指令遵循能力上下滑严重,经常避开一些繁琐的重复性的任务,只给出一个启发性的“框架”,里面留下大量空白让用户自己去填空。
OpenAI 在上周遭到部分用户投诉,许多用户声称,他们在使用 ChatGPT 或 GPT-4 API 时,会遇到回应速度慢、敷衍回答、拒绝回答、中断会话等一系列问题,OpenAI 承认了这一事实,并在声称将彻底、妥当地修复相关问题。
OpenAI 此前解释称,GPT-4 变懒惰的原因是,OpenAI 从 11 月 11 日起就未再更新模型,而 GPT 模型也正因此变得不可预测,当前该公司正在着手修复问题。
据悉,用户抱怨 GPT-4 模型变“懒惰”是指,用户请求 GPT-4 撰写表格,但该模型仅仅输出三行;输入一段代码,模型只输出一些信息,随后再指示用户填写剩下的其他部分。有时候,GPT-4 甚至会告诉人们“你们完全可以自己完成这些工作”。
二. OpenAI 官方确认 ChatGPT 存在问题,展开调查
伴随着大家质疑的声浪,昨天 OpenAI 官方下场,回应了关于 ChatGPT 变懒的传闻,与“律师函警告”不同,OpenAI 官方承认了确实存在这个问题,但是强调了他们从 11 月 11 日起并没有更新模型,目前出现这种问题的原因未知,正在组织人手进一步调查。
除了放出消息,OpenAI 还积极回复了网友们关心的问题,比如有网友质疑:所谓模型不就是那个权重参数的文件?如果这个文件没有改变,为什么一个固定的文件会变懒?
而 OpenAI 回复,“模型行为的差异很微妙”,一些 Prompt 会出现这个问题,而另一些又不会,用户与开发者可能很久之后才会注意到这些问题(意思是说不是模型突然变懒,而是之前就懒但是大家没注意到……)
三. OpenAI 解释模型行为差异,回应用户质疑
在承认 ChatGPT 变懒之后,官方也发布了一系列的帖子了强调模型的训练过程,比如训练一个 Chat 模型并不是像传统的软件工程,哪怕使用相同的数据集在不同的训练方式下也会在个性、写作风格 、拒绝行为、表现评估等等方面产生完全不同的模型。更新模型的过程也不像是在一个网站里上线一个新功能那样纯粹的加法模式,而是需要多人手工进行规划、创建与评估才能将模型的一个新的行为模式上线:
OpenAI 后续解释称,由于模型长期未更新,这导致 GPT 模型行为出现了细微的变化,但只有少部分提示词效果变差,GPT-4 模型在整体层面依然能够保证妥善运行。
OpenAI 声称,他们将在彻底的离线评估和线上 A / B 测试后尽快更新 GPT-4 模型,同时也鼓励用户积极对模型表现进行回馈。
四. GPT-4 模型变更受人事动荡和延期影响
有些人开始猜测是因为 OpenAI 合并模型、同时运行 GPT-4 和 GPT-4 Turbo 导致服务器持续过载、公司试图通过限制结果来节省资金等造成的。
众所周知,OpenAI 的运营成本极其昂贵,今年 4 月,研究人员表示,每天需要花费 70 万美元,即每次查询花费 36 美分,才能维持 ChatGPT 的运行。根据行业分析师当时的说法,OpenAI 必须将其 GPU 群扩大至 30000 台,才能在今年剩余时间内保持其商业性能。除了为其所有合作伙伴提供计算之外,OpenAI 还需要支持 ChatGPT 其他流程。
GPT-4 模型停更与该公司的人事动荡密不可分,OpenAI 的 CEO Sam Altman 离职风波及欧美假期共同导致了 OpenAI 日常事务呈现混乱局面,除了 GPT-4 例行更新遭到延期外,原定于今年 12 月初上线供开发人员分享模型的 GPT Store,也被延期到 2024 年初上线。