OpenXLab 部署 InternLM2 实践指南

上传模型

初始化git设置

# install git
sudo apt-get update
sudo apt-get install git# install git lfs
sudo apt-get update
sudo apt-get install git-lfs# use git install lfs
git lfs install

OpenXLab 使用你在平台的用户名作为 Git的用户名，具体获取路径，可登录 OpenXLab 后，点击个人头像下的 【账号与安全】查看个人的用户名

• 配置 Git Username，用于作为 Git 提交的身份标识。

git config --global user.name "Username"

• 配置 Git Email

git config --global user.email "email@email.com"

拉取模型仓库

首先需要在 OpenXLab 先创建一个空仓库，填写模型仓库的基本信息，包括仓库名称、任务类型、访问权限等。

创建完成空的模型仓库后，找到该仓库的 git 地址并拉取该空仓库至本地，空仓库的地址在模型文件的下载按钮下，如下所示

找到空仓库下的 git 地址，执行 git clone 操作

获取 Git Access Token

在 OpenXLab 的密钥管理添加 Git 令牌，步骤如下

上传模型文件

在克隆的仓库目录中整理模型文件，即将你的模型文件放入至clone的目录中，并执行git push命令将模型推送至远程仓库

本地 clone 的文档目录结构如下所示：

├── config.json
├── configuration_internlm2.py
├── generation_config.json
├── modeling_internlm2.py
├── pytorch_model-00001-of-00008.bin
├── pytorch_model-00002-of-00008.bin
├── pytorch_model-00003-of-00008.bin
├── pytorch_model-00004-of-00008.bin
├── pytorch_model-00005-of-00008.bin
├── pytorch_model-00006-of-00008.bin
├── pytorch_model-00007-of-00008.bin
├── pytorch_model-00008-of-00008.bin
├── pytorch_model.bin.index.json
├── special_tokens_map.json
├── tokenization_internlm2.py
├── tokenization_internlm2_fast.py
├── tokenizer.json
├── tokenizer.model
└── tokenizer_config.json

在执行 git push 之前，如果您的仓库中包含大型文件，并且您希望使用 Git LFS 来管理这些文件，您需要先标记这些文件以便 Git LFS 能够识别它们。这通常是通过使用 git lfs track 命令来标记。以下是使用 git lfs track 命令的基本步骤：

LFS管理大文件：使用 git lfs track 命令来标记你希望通过 Git LFS 管理的大文件。例如，您想要通过LFS管理所有的 .bin和 .model的模型文件，可以使用以下命令：

git lfs track "*.bin"
git lfs track "*.model"

标记LFS管理的文件后，提交更新的信息，执行 git push 上传模型，命令如下所示：

cd InternLM-Interview-Assistant
git add -A
git commit -m "upload model"
git push

在执行 git push 时会弹出身份验证的弹窗，填入 Username 和 Access Token 信息，填写信息后上传完成。