担心被ChatGPT取代？LMFlow让你打不过就加入！

作为一名金融领域的 NLP 从业者，自从 ChatGPT 出来以后，整个人都是处于担心下岗的状态。未来我还能做什么？整个自然语言处理行业会不会消失？

我也想在业务中利用 ChatGPT 的优势，然而整个 ChatGPT 是黑盒的，模型规模巨大，没办法根据业务需求进行定制化的微调，所以很难集成到我现在的工作流程中。而且相关业务数据也不能直接上传到 ChatGPT。

一周之前在朋友圈看到大家转发的港科大开源大模型微调代码库 LMFlow，抱着试试看的想法去体验了一下，发现效果还不错。使用这个工具快一周了，也基于这套代码做了不少的业务场景的开发，慢慢找回了自己未来的定位。总体用起来比较得心应手的，需要修改的代码量较少。今天决定写一篇文章记录一下使用体验。

模型能力初体验

我简单阅读了一下官方 github 的介绍，上面提到 LMFlow 不是一个单一模型，而是支持很多模型的微调框架。在使用项目进行开发之前，我先去体验了一下作者提供的模型。这个项目提供了几种模型体验方案：线上的 web demo、托管在 Google Colab 上的 notebook、和本地可以运行的脚本。我首先体验了一下官方的 web demo (lmflow.com)：

整体看起来效果还是很不错的，在一些基础的对话能力上可以满足需求。而且具有一定的专业领域知识。对于金融领域的简单概念比如股票、基本面都是手到擒来。

值得一提的是，在写这篇文章的时候看到 LMFlow 的官方 web demo 恰好刚做了一次大的版本更新。之前笨笨的模型现在一下子聪明了许多，尤其是中文能力得到了显著地改善。估计作者最近又进行了更多的模型改进和迭代。

快速个性化微调

尝试过现有模型后，接着就是根据数据做个性化微调。作为一个资深的 Colab 用户，我毫不犹豫地拿出了 Colab Pro+ 珍藏版 A100 （没错，Colab Pro+ 是有 A100 的）。看之前的推送说一张 3090 只需要 5 个小时，于是我就自己试了一些金融客服的小数据集进行微调，数据量比官方的略小一些。在 A100 的加持下，只用了一个小时就跑完了训练流程。下面是一些测试的结果。

训练过程中基本没有碰到困难，整个过程中主要的额外工作就是将手头的训练语料转换为官方指定的数据格式和调节脚本的参数。

作为一个专业对数据进行处理和清洗的 NLP 算法工程师（雾），我当然手到擒来，很快就处理好喂到了训练流程里，最后脚本就会在指定目录下生成一个训好的模型。我使用的是./scripts/run_finetune_with_lora.sh 这个脚本，它只会存储压缩后的模型差异，这样最终保存下来的权重规模只有几 MB，很小也很容易存储。

易用可部署

模型训好了之后就是部署上线和进行推理。我使用的脚本会将生成的模型差异存储在 output_models/finetune_with_lora 文件夹下，运行：

./scripts/run_chatbot.sh {llama-model-path} finetune_with_lora

就可以跑起来一个测试用的聊天机器人。这里 {llama-model-path} 是 Meta 有条件提供的初始模型，需要填一个表单申请（https://forms.gle/jk851eBVbX1m5TAv5）。Meta 审批通过后就能下载拿到官方 llama 模型。需要注意的是，这个模型对商用是有限制的。不过因为 LMFlow 支持很多其他模型，很容易找到平价替代。

这个机器人也有 CPU 的推理版本，可以在没有 GPU 的机器上运行。

./scripts/run_chatbot_cpu.sh {llama-model-path} output_models/finetune_with_lora

不过会比 GPU 的版本慢将近 10 倍，一般可以正常推理的模型需要经过额外的量化 8-bit/4-bit 处理。

我在这个基础上把用户界面做得更友好了一些，方便公司里的同事使用。

缺点

现在主要的实验平台还是 linux 环境，对于大多数 windows 用户来说不是很友好。好在我和其他使用者交流的过程中发现，还是有不少其他用户通过 wsl 成功跑通了训练和推理。另外也可以通过 Google Colab 或者官方提供的 docker 绕开这个问题。过了配环境这一关后，后续的使用体验还是很不错的。