从 ChatGPT 的名字就可以看出,它的最核心功能就是 Chat(聊天)。那么,我们就以聊天的形式,开始本书的内容。 先让 ChatGPT 自己做一次自我介绍。既可以展现 ChatGPT 的产品使用形式,也可以快速了解 ChatGPT 的技术概念:
ChatGPT 的回答非常自然和友好。先礼貌的"感谢您的提问",然后再介绍自己。从内容中,我们可以看到 openai 对 ChatGPT 技术的主要预期:通过对话的形式,完成自然语言处理任务。
自然语言处理任务,包括:文本分类、语言翻译、情感分析、问答系统、对话生成等。在过去,这些领域也都有各自领域的,或好或坏的,人工智能算法模型。最著名的有语言翻译领域的 Google Translate,问答领域的 Apple Siri 等。但总体而言,多数算法作用有限,在非常狭小的数据集上表现亮眼,一旦产品化就困难重重。即使 Siri,也时常被人吐槽为"人工智障"。
ChatGPT 是人类历史上,第一个通吃自然语言处理任务所有领域的 AI 算法产品。科研人员也在通过不同手段,探索 ChatGPT 为什么会有如此神奇的表现。目前最常见的一种猜测就是大模型的"能力涌现",可以类比生活中的单摆同步、萤火虫群闪烁等群体现象,乌鸦借汽车开坚果等推理现象等等。
由于 ChatGPT 并不实时联网更新,我们无法让 ChatGPT 再做更多的展开介绍。接下来几个小节,我们将从概念原理、训练数据、开源实现的难点几个方面,展开介绍。