ChatGPT一出来,一堆搞NLP的立马哭了。为什么?不该问为什么哭,而该问为什么还不哭。
有两个立马大哭的理由。
第一个理由很多人说了,范式改变。
虽然说没有哪个研究领域,甚至没有哪个领域敢说自己真的是天道酬勤绝对公平,但早年NLP这块总的来说还是有一些个人发挥聪明才智的地方。原因不太好意思说,因为NLP总体都不怎么样,所以聪明人就把NLP切成很多小块,有的小块里再切小块,只要你有足够的聪明和足够的运气,能搞一点奇技淫巧,没准就能魔改出来一套新算法,在哪个小块或者小小块里面出一点的成果,没准比大公司大团队还要好。
不过,那是过去的范式,现在不行了。现在是什么范式?四个字,力大飞砖。
我知道现在说到新范式,很多人喜欢说的是各种新概念,譬如什么提示学习、RLHF、指令对齐等等等等。不是不对,没有抓到变的本质。变的本质就是力大飞砖,个人那点小聪明小技巧根本不够看,在氪金玩家绝对实力的面前都是渣渣。
机器学习搞了很多概念,但要搞清楚这里说的范式改变,只要记得三要素,叫算力、算法和数据。人称人工智能三要素。
那新范式是什么呢?高算力+大数据+朴实无华的算法。
为什么搞NLP的人看到ChatGPT要大哭?是感叹自己的见识短浅,不懂得也不可能懂得什么提示学习、RLHF、指令对齐吗?不是。自注意力模型难吗?刚出来的时候都说难得要命,现在人均手撸一遍。扩散模型难吗?刚出来的时候也都说难得要命,现在不也都会手推了。
难的是算法吗?不是,是无论如何也搞不来满足条件的高算力和大数据。大部分的人这辈子连硬件门槛都跨不过去,再谈算法就已经毫无意义了。
1、要么做第一个,要么做最好的一个。
2、信念和目标,必须永远洋溢在程序员内心。3、最累的时候,家人是你最好的归宿。
4、C程序员永远不会灭亡。他们只是cast成了void。
5、真正的程序员认为自己比用户更明白用户需要什么。
6、退一步海阔天空,这是一种应有的心境。
7、过去的代码都是未经测试的代码。
8、优秀的判断力来自经验,但经验来自于错误的判断。
9、测试是来表明bug的存在而不是不存在。
10、我们这个世界的一个问题是,蠢人信誓旦旦,智人满腹狐疑。
11、一个好汉三个帮,程序员同样如此。
12、看再多的书是学不全脚本的,要多实践。13、无私奉献不是天方夜谭,有时候,我们也可以做到。
14、世界上只有两句真理:1、人一定会死。2、程序一定有Bug。
15、UNIX很简单。但需要有一定天赋的人才能理解这种简单。
16、程序中蕴含着很多的道理,唯有大彻大悟者方能体会其中的奥妙。
17、编程中我们会遇到多少挫折?表放弃,沙漠尽头必是绿洲。
18、做技术一定要一颗恒心,这样才不会半途而废。
19、不要被对象、属性、方法等词汇所迷惑;最根本的是先了解最基础知识。
20、请把书上的例子亲手到电脑上实践,即使配套光盘中有源文件。