ChatGPT爆火,直接改变了整个硅谷大厂的格局。近日,马斯克、小扎也纷纷下场,正式对ChatGPT宣战!据The Information报道,马斯克最近几周与一直在于AI研究人员接洽,希望组建一个新的研究实验室,以开发出一个AI聊天机器人,直接和OpenAI的ChatGPT对打。同时,小扎也于近日在自家平台上官宣,Meta将组建顶级AI团队,专注于研发生成式人工智能产品。新团队由人工智能主管Ahmad Al-Dahle领导,向现任首席产品经理Chris Cox汇报。
Meta迎ChatGPT之战
自高调入局元宇宙后,在外人看来,科技巨头Meta在聊天机器人潮流中的动作有些迟缓。
其实不然,只是还未战胜过。早在去年6月,Meta便开源了其自研的大型语言模型OPT-66B,并早8月发布了基于OPT的聊天机器人BlenderBot3。
然而,与ChatGPT立即爆火、上线5天里就有100多万用户不同,Meta的Blenderbot让人觉得很无聊。而且很快,这个聊天机器人问题百出,狂踩自家老板不说,还会发表恶性言论和虚假信息,直接走向了一场灾难。
紧接着11月,「科研辅助工具」Galactica问世。论文中透露,其经过了4800万篇论文、教科书和讲义、数百万种化合物和蛋白质、科学网站以及总计1200亿个参数的百科全书上进行训练。然而,本应实力强劲的Galactica,不仅对科学研究的总结非常不准而且还带有偏见,结果上线仅三天就被仓皇下架。当然,接二连三的失败,并没有让Meta示弱。今年2月,Meta发布了全新的650亿参数大语言模型LLaMA。不仅开源,而且大部分任务的效果都要好于GPT-3。它的与众不同之处在于,可以供研究人员使用,体量小,使用成本更低。Meta希望研究者可以通过它,解决一直困扰大语言模型的一些问题。
因为自家Galactica的惨败,Yann LeCun对于当红炸子鸡ChatGPT,在言语中多少有些酸涩:
「它无法扩展,也永远不会成为通向强人工智能的正确道路。」
「就底层技术而言,ChatGPT并不是多么了不起的创新。」
不过,当LLaMA模型一出,他也拿出来炫了一番。小扎称,在实现真正的未来体验之前,还有很多基础工作要做,并对Meta将在这一过程中打造的所有新事物感到兴奋。换句话说,Meta一直在这个领域做大量研究,但在将这些技术应用于产品方面比微软和谷歌更为谨慎。而现在,Meta新团队的建立,未来能让研究人员所创建的语言和图像模型能够更快地在自家产品中呈现。
挖来DeepMind大佬,马斯克也要入局ChatGPT
现在,全世界大厂都在做自己的ChatGPT,马斯克自然也不能缺席了。近几个月来,马斯克一直在批评OpenAI采取了太多措施,让ChatGPT兜圈子,避免冒犯到用户。
显然,与ChatGPT和微软最近的必应AI相比,马院士想推出的竞品聊天AI不会对争议性话题绕圈子。为此,马斯克挖来了DeepMind AI部门的研究员Igor Babuschkin。2019年,DeepMind祭出了自己潜心打造的AlphaStar,在《星际争霸2》中以5比0的比分,击败了顶尖的职业级玩家。而Babuschkin正是论文的主要作者之一。2021年,DeepMind发布了2800亿参数的预训练语言模型Gopher,参数量达到2800亿,相比OpenAI GPT-3的1500亿参数量几乎翻倍。Babuschkin,同样也是论文的共同作者。
评估结果显示,Gopher在152个任务的基准性能进行分析中,大约81%的任务中性能超越了SOTA,尤其是在需要大量知识才能解决的问题,如事实核查和常识方面效果特别好。在接受采访时,Babuschkin说,马斯克的目标,远不止是建立一个对输出内容限制较少的聊天AI那么简单。「我们的目标是提高这些语言模型的推理能力和事实性,让模型的反馈更值得信赖。」
Babuschkin称,他和马斯克正在讨论组建一个AI研究团队,但该项目仍处于早期阶段,还没有开发具体产品的计划。Babuschkin上周离开了DeepMind,还没有正式和马斯克签入职协议。他说:「我十分期待与埃隆在大语言模型领域合作。」
开发ChatGPT时,OpenAI采用的是「人类反馈强化学习」(RLHF),马斯克对此一直持批评态度。因为RLHF是利用人类的输入来调整模型,使模型的反馈更理想,以避免种族主义、偏见、仇恨的语言。马斯克批评道:这种模型反而更体现了开发者的偏见。十几天前,马斯克回复了一条截图,截图内容是微软的聊天机器人拒绝按某个喜剧演员的风格讲笑话,因为它认为他的一些话会伤害某些特定群体。
马斯克在推特上说,「我们需要TruthGPT。」很显然,在收购推特后,马斯克践行了自己的这个理念。去年10月收购推特后,他特意翻阅了公司的内部通讯资料,通过几位记者披露了推特的内容审核——删除内容、屏蔽用户、限流账号,但账号使用者却并不知情。甚至在收购Twitter之前,马斯克就已经成为知名的文化斗士,想要传播「觉醒病毒」。
相关素材整理于《小扎、马斯克宣战ChatGPT!Meta和推特组建顶级AI团队,硅谷硝烟四起》一文”