前言

开工已经两周啦，开始慢慢的进入工作状态了，新的一年大家一起加油吧~

任务拆解

最终目标

训练一个关于测试的垂直领域的专用模型或对话系统（Chatbot）。

两种技术路径对比

1. 知识库检索增强（RAG） + 大语言模型
2. 领域微调（Fine-tuning） + 知识库辅助

这里我目前选择的是技术路线1，原因如下：

• RAG + 大语言模型是能最快落地应用的，不需要花费精力标注数据以及算力要求来训练模型
• 目前我的知识库还不全面，需要频繁更新，技术路线1适合知识更新频繁或数据标注不足的场景

知识库检索增强（RAG） + 大语言模型

• 使用Dify部署，大语言模型接口＋云端知识库。一开始是用的这种方法，优点就是便捷，但是后面因为Dify知识库的限制，本地上传文档单文档的上传大小限制为 15MB，且免费版本文件上传数量有限，遂放弃。
• 本地部署知识库加大语言模型，可行，MaxKB知识库单文档的上传大小限制为 100MB且不限制上传数量。这种模式大模型、知识库和文档全部运行在本地，所以公司内的业务数据不会泄密，个人隐私不会泄密。

构建知识库加本地部署DeepSeek

具体我是参照的这篇文章👉喂饭级教程！零代码搭建本地个人知识库 ，支持GPT4、Llama3、Kimi等十几种大模型
其中Ollma 安装 deepseek-r1 模型可参照这篇文章👉【DeepSeek应用】DeepSeek R1 本地部署（Ollama+Docker+OpenWebUI）
Docker汉化👉Docker Desktop 的安装与汉化指南
PS:我为啥不自己吧安装过程记录下来呢？Emmm，不好意思我忘了，下次一定！
PPS：我用的clash所以不要配置镜像，之前使用conda时配置国内镜像下包总是会出现莫名其妙的网络错误，所以后来我都不配置镜像了，个人经验，如果没有梯子还是老实配镜像吧。

这是我根据教程配完的Chatbot：

下面是我在安装过程中遇到的几个问题：

1. docke下载后docker pull hello-world失败报错如下：

Unable to find image 'hello-world:latest' locally
docker: Error response from daemon: Get "https://registry-1.docker.io/v2/": EOF.
See 'docker run  --help'.

我遇到问题的情况是登陆了Docker，但是界面上还是显示未登录状态如下：

解决办法：退出重新登录，页面出现如下状态即可：

2. Ollama下载DeepSeek-R1 7b报错：

Error: model requires more system memory (5.5 GiB) than is available (3.9 GiB)

原因是电脑的内存不够用了，我的轻薄本内存为16g；解决办法：关闭了一些网页和应用。同样在MaxKB里配置Chat

目前的问题

• 本地部署运行起来速度太慢了，若是16g内存的轻薄本需要关闭大部分应用，在实际的应用中非常不方便。
• 问到需要引用知识库的文件的情况时，生成结果的速度太慢了且不全。
  
  解决办法：
• 考虑本地知识库加大语言模型接口的方法
• Chatbot的个性化配置以及知识库的分段需要优化