这是一篇非学术专业性的文章,而我也是为了解chatGPT而学了两三天人工智能,所以哪里写的不好的不对的地方还希望海涵。
图灵测试
1950年,人工智能之父艾伦·图灵提出乐“图灵测试”。就是说当你在不面对面的时候跟机器人进行文字聊天的时候,如果你很难分辨出来对方是一个人还是一个机器人,那么在一定程度上可以说这个机器它是智能的。
Eliza与Alice
1966年,MIT实验室发明了一个聊天机器人Eliza,但是背后就是简单的if…then的代码,例如你输入妈妈这个关键词,它就会返回设定好的关于家庭之类的内容。即使是在后面推出了更强大的Alice,其实现逻辑仍然是if…then语句。但是从智能的角度讲,这种限定规则的机器人就算你的规则写得再复杂也不可能穷尽所有答案,更不可能创造新的答案。因此,这两种机器人都不算是智能机器人。
SmarterChild
2001年,smarterChild使用了机器学习里面的模型,让聊天变得更自然,算是ChatGPT的前辈了,2007年微软收购了SmarterChild
神经网络
1960年,神经网络在1960年提出,但是当时没有海量数据集和强大的算力支持,所以神经网络就搁置了。到了2010年,互联网时代的到来也带来了海量数据和强大算力。计算机通过神经网络,对海量数据慢慢摸索出规律。现在它的应用非常广泛了,像声音识别、自动驾驶、AlphaGo围棋机器人,但是神经网络回到文字领域就不太顺利了。因为机器学习一般都是使用循环神经网络RNN来处理文字的,主要的方式就是按照一个个词处理。
Transformer
可以让机器同时学习大量的文字。现在很多自然语言处理模型都是建立在Transformer的基础上的。
OpenAI
2015年,OpenAI公司成立。2017年,OpenAI基于Transformer论文的基础上介绍了一个新的语言学习模型GPT(Generative Pre-trained Transformer)。
2018年6月推出了第一代GPT,参数为1.2亿个
2019年11月推出了GPT-2,参数为15亿个
2020年6月推出了GPT-3,参数为1750亿个
人工反馈的强化学习
在此之后无论再怎么加大参数量,GPT-3的提升和改善都非常有限,这个是因为在训练的时候没有一个非常好的反馈机制,就是没有人告诉它怎么回答是好的,怎样回答是不好的。为了解决这个问题,OpenAI就在训练的时候加入了一个人工反馈的机制,专业术语就是人工反馈的强化学习。
chatGPT
2022年11月,chatGPT诞生了!chatGPT相对于讲得对不对,它更在意说的像不像人类,所以chatGPT偶尔也会出现逻辑性的错误。
视频分享:【一口气搞清楚ChatGPT | 牛X在哪?谁会失业?巨头商战…】