自2018年GPT-1发布起，每年一更新。距离2020年GPT-3发布已有两年，这段时间里，大家都在期待和畅想，GPT-4到底会带来怎样的惊喜。

期间，“通过图灵测试”，“GPT-4Beta版访问权限已提供给某公司”等消息不断，甚至OpenAI的首席执行官Sam Altman也在社交媒体账号上写出疑似GPT-4即将发布的言论。当前，关于GPT-4的讨论仍在继续。

01

GPT是什么

GPT是Generative Pre-trained Transformers的缩写，即预训练模型，是当下火遍全球的AIGC（人工智能生成内容）背后的AI模型。

GPT是由OpenAI研究发布，GPT-1发布于2018年，主要包括两个阶段，先利用大量未标注的语料预训练一个语言模型，然后再在下游具体任务的有标签数据集上进行fine-tune。但fine-tune只能用到特定任务中，是否可以用一个模型解决所有NLP任务，是GPT后续迭代的目标。

GPT-2发布于2019年，与GPT-1相比，去掉了fine-tuning层，采用了多任务的方式，数据和模型参数大约是之前的10倍，同时主打zero-shot任务，即在下游任务中不进行任何训练或微调，以此来训练一个泛化能力更强的词向量模型。

GPT-3 发布于2020年，依旧延续自己的单向语言模型训练方式，结构和GPT-2一样，但是数据约为GPT-2的1000倍，模型参数约为GPT-2的100倍。由于GPT-3庞大的体量，作用到下游子任务时，不进行任何的梯度更新或fine-tune。

自2020年GPT-3发布之后，有关GPT-4的猜测就讨论至今。有行业内的人透露道，GPT-4 将包含大约100万亿个参数，但OpenAI的CEO Sam Altman在一次私下问答中否认了这一说法。除了模型大小，分析师Alberto Romero预测，GPT-4将优化计算模型，是一个密集模型，且依旧是纯文本模型。

为什么GPT-4备受关注，这与GPT-3带来的突破变化密切相关。

02

它可以“像人一样”生产内容

GPT-3通过深度学习技术，获取了2019年10月之前人类公开发表的所有文本，包括维基百科、书籍以及社交媒体和公共网络上的词语，进而把不同信息联系起来，用数学方法处理信息。最终，GPT-3可以根据一个简单的命令式写出完整的文章、在不同语言之间进行翻译，还能写菜谱、作曲，甚至还可以自学编程，在SQL和Python中都写出了可运行的代码。

近期火爆全网的图像生产，甚至是视频生成和3D生成等AIGC领域的应用，背后也都与GPT-3的发布有关。AIGC的本质是从文本生成扩展到多模态，并结合原有模态算法进行实现。OpenAI发布的Text-to-image系列模型DALLE和DALLE2，就是在多模态层面持续探索。

GPT-4虽然还未到来，但发布了GPT-3.5的微调版本——ChatGPT，其本质是一个通用聊天机器人。它是在2021年第四季度之前发布的混合文本和代码上进行训练的。

与其他语言模型不同，ChatGPT 拒绝回答有关未接受过培训的主题的问题。OpenAI 首席技术官 Mira Murati 举例道：它不会尝试回答有关2021年之后发生的事件的问题，它也不会回答有关个人的问题。这与它“依赖训练数据中的统计规律，而不是对世界的类人理解”有关。

但GPT-3.5的发布将大家的焦点再次拉到GPT-4上，一位AI创业公司的代表分析称：“GPT-4轻松通过了图灵测试”，OpenAI CEO Sam Altman近期在推文写道：“不要为自己创造的‘技术恐怖’而骄傲，通过图灵测试的能力在‘原力’面前无能为力。”种种言论都在表明，GPT-4即将到来。

03

它可以像人一样思考吗？

但，没有人知道GPT-4会带来怎样的变化，毕竟GPT-3和AIGC的发展下一步，似乎只能是通用化或是“真正地和人一样”。

清华大学计算机系副教授黄民烈认为，GPT-3在内容创作中的应用值得看好，但他认为它不太擅长逻辑推理。尽管GPT-3非常好地利用了数据学习的能力和算力，但未来真正的通用AI脱离知识是不行的。

对此，若把真实语言连接到认知模型上，比如知识图谱，这种关联或许可以实现通用智能的路径。知识图谱也可以用于辅助进行数据分析与决策。不同来源的知识通过知识融合进行集成，通过知识图谱和语义技术增强数据之间的关联，用户可以更直观地对数据进行分析。

当前，确实有一些学者在GPT与知识图谱领域内做研究，比如从预训练语言模型中构建知识图谱，也有将知识图谱生成语料库，输入给NLP模型训练。

然而传统的知识图谱是静态的，他与当前的GPT一样，很难去做逻辑推断或因果分析。没有逻辑推断和因果分析能力，就很难回答“为什么”这一问题，这样就意味着很难做到“可解释”，也很难进一步应用，通过分析自主产生决策。

事件知识图谱的出现或许给这一问题提供了解决思路，事件知识图谱是自然语言处理和人工智能发展的产物。通过抽取事件之间的关系，将事件关联起来，形成事件知识图谱。其中最重要的两类关系是事件时序和因果关系。或许事件知识图谱与GPT的结合会在通用AI，可解释，甚至决策智能等领域，给人们带来一定的想象。