1、引言

随着AI技术的快速发展和普及，越来越多的LLM开始开源，若想在本地尝试部署大模型和搭建知识库，可以使用ollama+LLMs+cherry Studio+ nomic-embed-text的框架来实现，以便于对AI简单应用流程的整体了解。本地部署和知识库的搭建本身不难，按部就班就可以。

2、组件介绍

ollama：Ollama是一个在本地运行的大预言模型的的工具，可以再不同的操作系统商安装。可以认为ollama就是一个LLM的容器管理工具，和Docker有点类似。

LLMs：大语言模型模型很多，像现在比较火的、开源的deepSeek R1模型等，由于在本地电脑上不是我们可以选择14b以下的版本。

cherry Studio：Cherry Studio AI 是一款强大的多模型 AI 助手,支持 iOS、macOS 和 Windows 平台。快速切换多个先进的 LLM 模型,提升工作学习效率。支持多个第三方模型的调用。

nomic-embed-text：一个高性能的开放嵌入模型。

3、部署

3.1 ollama安装

在ollam官网上下载:ollama下载地址

exe程序一步一步安装，可以使用默认配置，比较简单。

3.2下载LLM

例如下载阿里千问的模型，输入命令：

ollama run qwen2.5

 或者

ollama run deepseek-r1:1.5b

相关的模型可以再ollam官网上查找：

3.3 文本嵌入安装

文本嵌入模型主要是为了构建知识库，在命令行中输入：

ollama pull nomic-embed-text: latest

3.4 cherry Studio配置

（1）首先，从逛网上下载cherry Studio，Cherry Studio - 全能的AI助手

（2）exe文件逐步安装，比较简单；

（3）打开cherry Studio进行配置：

在设置中：选择Ollama，设置API地址，ollama的默认端口是11434，一般不用修改；

点击“管理按钮”，添加模型，前面下载的模型会在列表中展示出来。

在chat界面，就可以和大模型聊天了