ollama

首先是安装ollama，这个非常简单

https://ollama.com/

下载安装即可

open-webui

这个是为了提供一个ui，毕竟我们也不想在cmd和模型交互，很不方便。

第一，需要安装python3.11，必须是3.11（其他版本你都安装不上）

然后我创建一个虚拟环境，来安装open-webui

网络问题

由于众所周知的原因，我们需要代理或者换源来解决网络的问题。

open-webui会用到huggingface和openai

针对huggingface我采用国内源

针对openai我采用代理

（也许都走的是代理，我设置huggingface国内源多此一举？）

然后我写了一个run.bat来简化工作量

REM 设置 Hugging Face 相关环境变量
set HF_ENDPOINT=https://hf-mirror.com
set HF_HUB_CACHE=F:\Model\cache\huggingface\hub
set HF_ASSETS_CACHE=F:\Model\cache\huggingface\assets
set HF_TOKEN_PATH=F:\Model\cache\huggingface\token
set HF_STORED_TOKENS_PATH=F:\Model\cache\huggingface\stored_tokensREM 设置代理
set http_proxy=http://127.0.0.1:4343
set https_proxy=http://127.0.0.1:4343
set no_proxy=localhost,127.0.0.1,.localREM 启动 OpenWebUI
open-webui serve

启动

1.启动ollama，自动运行在11434端口上

2.启动open-webui虚拟环境（cmd）

3.在cmd执行bat

call run.bat

4.open-webui启动成功，访问：

localhost:8080

然后就可以使用本地的大语言模型了