Yann LeCun，杰出的深度学习先驱，现在就职于Meta，在上周对 LLM 进行了抨击之后，本周将向我们介绍它们。

从侧面图中跟踪的版本数量来看，您会认为Meta和Google在 LLM 方面领先于OpenAI。但当然数量不等于性能：OpenAI 的GPT-4 被普遍认为大大领先于谷歌的 Bard。最近的测试报告说 GPT-4 比 Bard 有巨大的优势。

但它仍然是一个方便的条形图，尤其是开源状态的堆叠。请注意，此处的开源包括“仅可用于学术研究”，尤其是在Meta LLM 的情况下。

分析

树的根被正确地视为Word2Vec and friends。

然后它分支成：

• 仅编码器（例如 BERT）
• 编码器-解码器（例如 T5、BART）
• 仅解码器（例如 GPT、Bard、LaMDA）

显然只有解码器才是可行的方法，尽管其他类别的利基应用程序似乎正在发挥持续的作用，即使是次要的作用。

在 LLM 中，这些架构对输入文本中存在的语言信息进行编码和解码：