作者:赵俊博 Jake(浙大博导 AI专家)
浙大青椒,谢邀。以下纯为个人观点,不喜勿喷。
首先,我必须肯定一下ChatGPT,这个模型展现出来如下几个点让我震惊:(1)推理能力;(2)归纳能力;(3)在语言作为媒介展现出来的对世界常识的认知;(4)多轮对话。这些我不展开了,近期找个时间写个具体的分析解构吧。但是,诚然,杠精们不要跟我杠呀,ChatGPT不完美,很多回答不完美,甚至会出现胡说八道的错误。但是,从技术上来说,我个人认为,比GPT3提高了一个很大的档次,因为它已经不再是单纯的记忆大规模文本了,这一点非常可怕。就像我当天在朋友圈里写的:”可能AGI不再是个buzzword了“。所以我的结论是ChatGPT开了个口子,后面会发生什么,我们都不知道。或许会有多模态的版本,等等。那么这时候想想,自动驾驶里面众多感知问题是不是可以有个新的解法?如果说某大模型可以有对世界上常识事物的理解,并且使用跟ChatGPT类似的接口,那么我给定一个图像的拉流,我问他”汽车在哪儿?“。还需要那么多复杂的感知模型吗?这个点,我反正是越想越后怕,越想越焦虑。很多大家费尽心思解决的问题任务,或者说AI圈子里常用的workflow都可能会有改变。对于成型的课题组和工程师团队来说,这个是巨大的改变。我说了,ChatGPT在我看来,开了个口子。具体不多说啦,不展开这个帖。
然后,关于题主的问题,我从人、钱、事三个维度来讲。
人:我认识OpenAI初创团队的一些人,他们确实很强,非常强,并且是一帮敢做梦的人,他们做这家公司,不是冲营收,冲的是AGI。相比之下,国内的众多同僚们,大家关注的更多的时间解决国家的问题,解决AI实际落地的问题和任务。这一点,用我的轨迹来说亦是如此,从16年开始做GAN,做图像生成、文本生成等任务有一段时间,也算是全世界范围内非常非常早的一批人了。但是回国之后,也慢慢地把目光从星空看到了地上,更多得为大问题排忧解难。大家不要理解错,这没有对错好坏,总结来看,大家的mindset不一样。但是你要真的说哪边的人更强,我其实反而认为国内的同僚们实力更高。大家的创造力、执行力、反应能力、组织能力等等都超过国外的同僚们。只不过,大家想的、看的问题不一样罢了,给科技前沿、国家经济谁带来的好处多这个也真的不好说。要是没有四小龙,没有这些落地的先行者,AI可能都活不到今天,经济基础和上层建筑的区别。
钱:这个没啥可说的,ChatGPT或者说即将发布的GPT-4至少是几亿级,或者更高的训练费用。目前已知的技术细节不多,但是RLHF(RL from human feedback)这个技术一定是有货的,并且是起到关键作用的,虽然它不算个全新的东西,但是烧钱一定是更烧钱的。所以我猜测这个模型的花费(计算力、数据、人工费等)跟之前的模型不是一个量级,完全不会是。具体多少,还是等具体的技术细节放出来吧!
事:其实,在人和钱的限制下,有能力完成这种量级的工作本身国内的机构就不多了已经。可能也只有北京智源、鹏程这样的地方有能力承载这种量级的工作。并且,这个工作是带有巨大的不确定性的。科研本身就是一个带有巨大不确定性的东西,尤其是这种类型的工作。部署到这么多资源后,要去突破一个可能完全突破不了的事儿,我想想就感觉睡不着觉。我其实没想到RLHF在大规模预训练的框架下,会做到这种程度(again,技术细节未知情况下的猜测)。这件事儿的不确定性真的很大,还是对OpenAI说一句瑞思拜。
最后,我说一个希望,这个工作我们国内一定一定要跟上才可以。虽然它可能长得就是个玩具一样,还算是贡嘎雪山上看到的星星,但是它能做的事儿、打开的可能性太多了,多到让我焦虑异常。这件事情如果我们堵住了,落后了,10年后这个星星要是有了立地层面的影响,可能就真的要卡脖子,那时候我们大概更难受吧。
一个大胆的猜测:AI这东西,以前我们是用pytorch、tf,未来或许,大家用的是大模型的接口们,就像我跟组里的同学们讲的,大家要用发展眼光看看问题,尤其看看自己手里解决的问题,有没有可能在基于这样能力的backbone上轻松解决(如上面目标检测的例子)。不要搞了几年,发现自己的命被革了。
文章转载自知乎,著作权归属原作者,侵删
END
分享
收藏
点赞
在看