“分享一个简单的部署 ChatGLM2-6B 模型到 Huggingface Space 在线空间的方法。”

01

—

在这篇文章：终于部署成功！GPU 云环境搭建 ChatGLM2-6B 坎坷路中，用线上云算力的资源部署了一套 ChatGLM2-6B，最后显示一行提示：

“This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)”

意思：“这个地址只有72小时，如获得永久的地址，需要运行 gradio deploy 命令来部署到 huggingface 的空间上。

开一个命令终端，试试部署到 Huggingface。‍‍

提示需要登录到 huggingface_hub 的 token。

打开 Hugging Face 网站，点击个人账户的设置部分（Profile）。

找到左边菜单中的“Access Tokens”，然后点击 “New token”。

截图中我的账号已经创建了好一个 token，见：没有硬件资源？免费使用Colab搭建你自己的Stable Diffiusion在线模型！保姆级教程，这次直接复制使用。

粘贴 token 到终端窗口，对询问“Add token as git credential? (Y/n)” 回复：“Y”，等了一会儿，给了我一闷棍：‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

别看满屏幕的字，有用的信息就两个：“Connection aborted.”，“Connection reset by peer”。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

联想到之前部署的时候，帮助文档里 Huggingface 赫然在列：‍‍‍

估计是无法直接连接了，怎么办？‍‍‍‍‍

02

—

想了半天，打开我的腾讯云账号，一咬牙，一跺脚，买了一个月的硅谷云服务器。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

终端登录，git 克隆 ChatGLM2-2B 仓库，然后执行 gradio deploy 命令。 

出乎我的意外，居然也是同样的连接错误。看来虽然服务器地址不一样，还是执行了同样的网络策略。哭！

部署看起来简单，虽然只有一行命令，但是因为网络的连接问题，进展陷入了死胡同。

问问 ChatGLM，有没有什么好的解决方案。‍‍

看起来正确，感觉 ChatGLM2-6B 还真是不弱。国产之光，ChatGPT 国内产品的平替真不是白叫的。感兴趣的朋友，可以看 ChatGLM2-6B 初体验。

最后想到，既然是执行发布命令，连接到 Huggingface Space 空间去操作，其实把仓库克隆到本地电脑（有代理），再执行发布命令，是不是一样可行？‍‍‍‍‍‍‍

这个方案成功了，命令行下执行完 git 克隆命令，输入 token 之后，顺利进入下一步。部署命令 “gradio deploy” 会在 Huggingface 上创建一个你的仓库空间：‍‍‍‍‍‍‍‍‍

Creating new Spaces Repo in '/Users/huangyong/Documents/ChatGLM2-6B'

请记住，在回答后续问题时，除了硬件配置以外，其他都可以回车采用默认值。‍‍‍‍‍

Enter Spaces hardware (cpu-basic, cpu-upgrade, t4-small, t4-medium, a10g-small, a10g-large, a100-large) [cpu-basic]: 
‍‍‍‍‍‍‍

这个地方输入：t4-medium，才能让 ChatGLM2-6B 跑起来。‍‍‍‍‍‍

（看 ChatGLM-6B 官方文档有量化模型的设置，猜测可以让更少的硬件也能运行起来，我没仔细研究。）

第一次运行的时候，就按了回车，选择默认 cpu-basic 硬件配置，就没运行起来。‍

如果直接输入：t4-medium，会提示需要添加一个付款方式：You must add a payment method to your account 。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

当时我没关注这条提示信息，直接用基本配置 cpu-basic 部署，结果就是失败。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

RuntimeError：Found no NVIDIA driver。

如果硬件配置选择 t4-small，会卡在第5个 Checkpoint。‍‍‍‍‍

没有任何错误提示，也是卡这里郁闷了很久。也不报错，最后猜测是不是硬件资源里面内存不够，把空间升级到 medium，就能顺利运行起来了。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

启动后，点右上角：“App”。

‍

Huggingface Space 提供一个永久的空间地址供访问：

https://huggingface.co/spaces/foghuang/ChatGLM2-6B。

Space 上面还有很多好玩的，使用人工智能模型的应用，大家有兴趣可以点开试用。像下面的第一个就是文本和语音互转的应用。‍‍‍‍‍‍‍‍‍‍‍‍

https://huggingface.co/spaces

03

—

Huggingface Space 部署总结：‍‍‍‍‍

1. HF 注册账号；‍‍‍‍‍‍‍‍‍

2. 添加 token；

3. 添加支付方式，国内借记卡，信用卡均可；

4. 能访问 HF 的环境；

5. 默认情况下，硬件最小配置选择： t4-medium；

6. 启动成功后，点 space 的 App，可以看到运行界面；

7. HF 提供永久地址，可以让应用被外部用户访问。
   

往期热门文章推荐：

ChatGLM2-6B 初体验

性能提升571%，32K超长上下文，推理速度提升42%，允许商用，国产开源大模型推出了二代 ChatGLM2-6B

不允许还有人不知道可以免费用 ChatGPT 的网站，ChatGPT3 和 4，Claude 和 Claude+ 一网打尽

没有硬件资源？免费使用Colab搭建你自己的Stable Diffiusion在线模型！保姆级教程

拥抱未来，学习 AI 技能！关注我，免费领取 AI 学习资源。