电脑端大模型部署
安装配置环境
安装配置Python环境
安装Miniconda：传送门
conda create -n ov python=3.10conda activate ov-Qwen
pip换国内源
阿里云开源软件镜像站
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
安装OpenVINO和其它工具包
pip install openvino-genai==2024.3.0 optimum[openvino]pip install opencv-python jupyter notebook openai appbuilder-sdk qianfan
下载Qwen2-7B-Instruct开源大模型
pip install modelscope
modelscope download --model qwen/Qwen2-7B-Instruct
打开Qwen2-7B-Instruct-GGUF模型文件列表，我们选择qwen2-7b-instruct-q5_k_m.gguf并下载：
# 用服务器可行
optimum-cli export openvino --model "qwen/Qwen2-7B-Instruct" --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8 "Qwen2-7B-Instruct-int4-ov"
直接下载：
服务器后端搭建
1.Node.js 和 npm下载安装
sudo apt purge nodejs
sudo apt autoremove
sudo apt update
sudo apt install -y curl
curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash -
sudo apt install nodejs build-essential -ysudo apt install npm
2.创建一个新的项目目录，并初始化一个 Node.js 项目：
mkdir audio-upload-server
cd audio-upload-server
npm init -y
接着，安装需要的依赖库 Express 和 Multer：
# 使用淘宝镜像源
npm config set registry https://registry.npmmirror.com/npm install express multer
3. 创建服务器端代码
在项目根目录中，创建一个 server.js 文件。这将是我们服务器的主文件。
touch server.js
在 server.js 中，编写以下代码：
// 导入所需的库
const express = require('express');
const multer = require('multer');
const path = require('path');
const fs = require('fs');// 创建 Express 应用
const app = express();// 设置文件存储目录
const uploadDirectory = path.join(__dirname, 'uploads');
if (!fs.existsSync(uploadDirectory)) {fs.mkdirSync(uploadDirectory);
}// 使用 Multer 设置文件上传
const storage = multer.diskStorage({destination: function (req, file, cb) {cb(null, uploadDirectory); // 上传的目录},filename: function (req, file, cb) {// 保留原始文件名cb(null, file.originalname);}
});const upload = multer({ storage: storage });// 文件上传的 POST 路由
app.post('/upload', upload.single('file'), (req, res) => {if (!req.file) {return res.status(400).send('No file uploaded.');}// 成功上传console.log('File received:', req.file);res.status(200).send('File uploaded successfully.');
});// 启动服务器，监听端口 3000
app.listen(3000, () => {console.log('Server running at http://localhost:3000');
});
4. 测试服务器
确保服务器已经启动并监听在端口 3000 上，运行以下命令启动服务器：
node server.js
你应该看到控制台显示：
Server running at http://localhost:3000
5. 使用 Postman 或 cURL 测试文件上传
你可以通过命令行使用 cURL 来测试：
curl -X POST http://localhost:3000/upload -F "file=@/home/t/Downloads/recording.pcm"
