ollama是一个大模型的运行框架,在上面可以运行不同的大模型
部署deepseek
下载ollama:https://ollama.com/
下载模型:https://ollama.com/library/deepseek-r1:1.5b
ollama run deepseek-r1:1.5b
运行起来之后,本地命令行就可以使用了,但是不方便,一般会安装可视化页面:
可视化可以使用https://chatboxai.app/zh
的网页版,,也可以使用Open WebUI
,也可以使用AnythingLLM
,需要设置以下环境变量才能调通:
# 任何的ip都能访问
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
然后在可视化页面,就能选ollama启动的本地模型进行调用,,
deepseek喂知识库
知识的文本需要https://ollama.com/library/nomic-embed-text
这个模型,读入进去,,
喂知识库使用AnythingLLM
:
设置模型:
引用:https://www.bilibili.com/video/BV13ZPye2ELG?spm_id_from=333.788.videopod.episodes&vd_source=2fa1e342e372690232a44e928ce8f6cb