什么是 Ollama ?
Ollama 是一个简明易用的本地大模型运行框架。能在本地启动并运行 Llama、qwen、Gemma 及其他大语言模型,没有GPU资源照样可以拉起模型,和LocalAI 比较类似,但是加载模型更容易。
1.安装
安装后运行,执行:http://127.0.0.1:11434/,返回:Ollama is running表示成功
2.拉取模型:
3.运行模型
ollama run qwen2(mac电脑加载的7b),执行后开始提问,如下图:
4.open-webui,更加方便web方式提问。
什么是 Open WebUI ?
Open WebUI 是针对 LLM 的用户友好的 WebUI,支持的 LLM 运行程序包括 Ollama 和 OpenAI 兼容的 API。
Open WebUI 系统旨在简化客户端(您的浏览器)和 Ollama API 之间的交互。此设计的核心是后端反向代理,可增强安全性并解决 CORS 问题。
参考:https://github.com/open-webui/open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
搭建简单的tag系统
下载
地址:https://anythingllm.com/
配置
embed及向量数据库选默认
新建工作区,然后上传文档,然后向量化存储。
基于文档,对话,如下可以看到部分文档被引用到。
其他
rag系统:fastgpt