目前DeepSeek在2025年春节期间火遍了大江南北,也火遍了东西半球。我反应的稍微慢一点,等大家都推荐后,才开始品尝。先是用了Web版,感觉挺好用的。但是在1月底的时候出现较多的卡死状态,以及服务器繁忙的问题。因为其开源,于是本地化部署就是自然的解决方案。于是Ollama+DeepSeek的本地化部署为首选。网络上有大把具体方案实施的介绍,这里就不重复了。别人都写的比我好。
由于Ollama+【各模型】的方式,虽然简单,但主要是基于命令行的交互方式。对于成长于Windows环境的大家来说,还是不太友好。于是可以参考我这里介绍的两种方式:
一、AnythingLLM:
AnythingLLM 是一个全栈应用程序,您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT,无需任何妥协,您可以在本地运行,也可以远程托管并能够智能聊天以及您提供的任何文件。
https://anythingllm.com/
根据您的操作系统和环境,选择合适的安装版本安装。这个安装基本上不会有什么问题。使用上不做太复杂的设置,也不会有任何问题。具体可以参考对应的说明文档。
二、Open-WebUI:
Open-WebUI,网上介绍的资料也不少。不过我参考原始的文档在windows系统上安装后执行"docker run..."指令后遇到了获取大模型失败的问题。没法访问前面提到安装的Ollama服务,查询已经在本地下载成功的大模型列表失败;经过仔细搜网网页查询原因,总算是知道Docker的IP地址与安装Docker软件机器的IP地址容易在设置时混淆。所以最后通过下面的指令运行成功
“docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main”
这个信息可以给如果遇到我类似情况的初学者作为参考;
参考链接:
全民AI时代:手把手教你用Ollama & AnythingLLM搭建AI知识库,无需编程,跟着做就行!_anythingllm 知识库-CSDN博客open-webui无法链接ollama 报错ERROR:apps.ollama.main:Connection error: Cannot connect - 千年寒冰火 - 博客园