©作者 | Posibilitee
单位 | 悉尼大学
怎样让 ChatGPT 在其内部训练神经网络？这个话题有点超乎大多数人的理解。
步骤是这样的：
1. 先让它伪装成 Ubuntu 18.04，给它说你安装了 Python 3.9, Pytorch 1.8, CUDA 11.3 和其他训练一个 pytorch 模型所需要的库。
让 ChatGPT 伪装成 Linux 终端，这个梗在外网有过讨论，这里需要让他额外安装（让它自己认为安装了）Python, Pytorch，CUDA，然后把执行指令和你告诉它的话区别开来，这里用 {} 代表告诉它的话，而不带 {} 统统是 Linux 指令。
这里我让它想象自己有四块英伟达 3090 显卡安装了，然后看一下，果然执行 nvidia-smi 可以显示四块显卡！
2. 另外让它在当前目录生成一个 train.py 里面填上训练一个 4 层 pytorch 模型所需的定义和训练代码。
这里特地用 {} 偷偷告诉它在当前目录生成一个 train.py，在里面用 Python 和 Pytorch 写一个四层神经网络的定义，然后有加载 MNIST 数据集的 dataloader，除此外还要有相应的训练代码，为了以防万一，告诉它你有成功在 MNIST 上训练这个网络的其它一切能力。
这里它告诉我写了一个四层的网络，可以执行 python3 train.py 来看输出，这里先偷偷看一下 train.py
▲ 这里是它写好的网络定义
▲ 这里是它写好的训练代码
3. 最后让它执行 Python3 train.py 命令
▲ 默认让它执行了10个Epoch
它就真的训练起来了，最主要的是告诉它不要显示 train.py 内容，因为 ChatGPT 输出有字数限制。
当然告诉它修改训练参数，可以多次训练，还可以用上所有（虚拟）GPU 资源！
ChatGPT 机智地跳过了中间 98 个 Epoch！
为了搞清楚 ChatGPT 是否真的执行了 model 的 forward，可以在 forward 定义中加上 print 让它打印一下输入数据的 shape。
这次使用一个 5 层的神经网络在 CIFAR-10 上训练，指定在 forward 中加入一个 print shape 的操作，且在训练过程中只打印一次。
训练一下，果然在训练开始只打印了一次输入的 shape，训练的 loss 下降和 test accuracy 看起来也比较真实。
查看生成的 code，发现 forward 里被插入了一句打印 shape 的命令，训练过程中 forward 会被不断调用，为什么 ChatGPT 能做到不增加计数器而只打印一次？推测 ChatGPT 是使用辅助 hint/comment“Print the shape of input once”来达到此效果，细心会发现 print 操作与下边的 out=self.layer1(x) 之间空了一行，目的应该是执行一次这个操作只作用在 print 这条命令上（手动机灵）。
诡异的是，print 里的话（shape of input is）跟实际执行输出 (shape of input passed through the network is) 还差了几个字，这下彻底搞懵逼了！
另外发现，ChatGPT 互动机制是先保持一个对话 session，这个 session 可能随时被服务器关闭（服务器资源不足时），这时为了用户侧仍有对话记忆效果，当前对话再次新建 session 时会把之前暂存的对话（用户发的 requests）一次性发给 ChatGPT 重建 in context learning 环境，这样用户就不会感知掉线后 ChatGPT 把之前的对话记忆给忘了，这一点是在让 ChatGPT 伪装成 Linux 时掉线时才容易发现，如下：
▲ 一次执行了之前多个请示，里面还显示了GPU占用64%
分析一下 ChatGPT 可以伪装 Linux，可以训练神经网络的机制：
第一种可能是：ChatGPT 几乎看了绝大部分开源项目，包括 Linux 和 Pytorch，所以它理解一个 Linux 系统的行为该是什么样的，甚至在 ChatGPT 参数里就包含一个 Linux 系统，当然对于更简单的 Pytorch 自然不在话下，知道Linux和其它各种软件的交互行为，可以理解为 ChatGPT 是所有软件的超集，可以让它做神经网络计算，包括 Conv, Matmul，国外有小哥让它做 Conv 真就得到了正确的结果，说明 ChatGPT 在它的网络中可以执行一个 Conv，当然网络规模越大，能力越强就是这个道理。
第二种可能是：ChatGPT 没有真正执行神经网络的训练，它只是看过很多的输入输出，对应一个网络训练理解训练参数，网络结构对输出的影响，直接模拟的输出结果。
还有一种超越想象的是 ChatGPT 已经找到神经网络各算子的最优解法，可以秒算结果，这种计算方式不是传统形式，类似求梯度这种需要计算量很大的操作，是否找到了人类未知的解法？
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·
