Azure OpenAI 官方指南04｜Codex的模型结构和应用场景

Codex 是 OpenAI 公司推出的 GPT-3（Generative Pre-trained Transformer – 3）的多个派生模型之一。它是基于GPT语言模型，使用代码数据进行 Fine-Tune（微调）而训练出的专门用于代码生成/文档生成的模型。Codex 模型参数从12M到12B不等，是目前最强的编程语言预训练模型。Codex 能够帮助程序员根据函数名和注释自动补全代码、直接生成代码、自动补充测试样例，并支持多种编程语言。本期 Azure OpenAI 官方指南将详解 Codex 的模型结构如何帮助程序员实现自动代码生成。

Codex 的模型结构 ╱ 01

Azure Codex 模型家族简介 ╱ 02

Codex 的应用场景示例 ╱ 03

Codex的模型结构

OpenAI CTO 兼联合创始人 Greg Brockman 表示，“Codex 将是一款能够施展程序员力量的重要工具”。Codex 项目负责人 Wojciech Zaremba 则将 Codex 视为编码历史演变的下一阶段。那么，Codex 是如何颠覆编码的？

编程主要分为两个阶段，第一个阶段是认真思考问题并尝试理解，第二个阶段是把这些小片段与现有代码映射起来，包括库、函数以及 API。通过自然语言模型结构与代码数据集训练，在第二个阶段，Codex 模型的优势显露无疑。“Codex 的出现，让专业程序员们告别了不少令人头痛的苦差事。”

模型结构在GPT模型上加入额外token

Codex 的模型结构和 GPT 完全一样，为了尽可能地利用 GPT 的文本表示，Codex 使用了和 GPT-3 一样的分词器。但因为代码中词的分布和自然语言中词的分布有很大区别，GPT-3 的分词器在表示代码时可能不是非常有效。Codex 论文显示在 GPT-3 的分词器中加入了额外的一些 token 来表示不同长度的空格，这样在表示代码时可以少使用 30% 的 token。

推理时，使用核采样不断采样 Codex 生成的 token，直到碰见以下字符中的任何一个："\nclass"，"\ndef"，"\n#"，"\nif" ， '\nprint'。这样可以大大减小模型第一和最后一层的参数量。实验证明 Codex 可以通过增加模型规模持续精进。如下图所示：

数据集用于微调与评测

● Fine-Tuning 数据集

首先是用来做 Fine-Tuning 的 code 数据集。在2020年5月，Codex 从 Github 的 54,000,000 个公开代码仓上收集了数据，包括 179 GB 大小在 1 MB 以下的独一无二的 python 文件，在经过过滤后，最终的数据集大小为 159GB。

● 评测数据集

Codex 将生成代码的功能正确性作为评测指标，关注从 docstrings 生成 python 函数的任务，并通过 unit tests 的方法来评测生成代码的正确性。评测指标采用的是 pass@k。评测数据集包含 HumanEval 和 APPS 两个数据集。

HumanEval 构建了一个包括164个人工手写的编程问题的数据集，其中每个编程问题包括函数头、docstrings、函数体和几个 unit tests。HumanEval 中的编程问题可以用来评估语言理解能力、推理能力、算法能力和简单的数学能力，该数据集已经开源。人工手写是非常重要的：因为如果直接从网上找，比如说从 leetcode 上去扒，很有可能导致数据穿越。

Codex、GPT-Neo、GPT-J 和 TabNine 在 HumanEval 上的实验结果对比如下图所示，可以发现 Codex-300M 的效果优于 GPT-J 6B。