开源必看！50 多个本地运行 LLM 的开源选项

在我之前的文章中，我讨论了使用本地托管的开源权重 LLM 的好处，例如数据隐私和成本节约。通过主要使用免费模型并偶尔切换到 GPT-4，我的月度开支从 20 美元降至 0.50 美元。设置端口转发到本地 LLM 服务器是移动访问的免费解决方案。

有许多开源工具可以在本地托管开源权重 LLM 进行推理，从命令行工具（CLI）到完整的 GUI 桌面应用程序。这里，我将概述一些流行选项并提供我的推荐。我将这篇文章分为以下几个部分：

\1. 便于访问的全能桌面解决方案2. 通过 CLI 和后端 API 服务器进行 LLM 推理3. 用于连接 LLM 后端的前端 UI

每个部分都包括相关开源 LLM GitHub 仓库的表格，以评估其受欢迎程度和活跃度。点击这里[1]查看完整表格，点击这里[2]查看相关 GitHub 仓库。

这些项目在范围上可能会重叠，并且可能分为推理后端服务器和 UI 的不同组件。该领域发展迅速，因此细节可能很快会过时。

可用的开源本地 LLM 仓库的 Google 表格[3]

1. 桌面解决方案

全能桌面解决方案提供了易用性和最少的设置，以执行 LLM 推理，突出了 AI 技术的可访问性。只需下载并启动 .exe 或 .dmg 文件即可开始。对于寻求现成 ChatGPT 替代品的技术门槛较低的用户，这些工具为任何想要在进阶到更复杂、技术性更强的替代方案之前探索 AI 的人提供了坚实的基础。

流行选择：GPT4All

GPT4All 是一个全能应用程序，模拟了 ChatGPT 的界面，可以快速运行本地 LLM 以完成常见任务和 RAG。提供的模型开箱即用，并且体验专注于终端用户。

GPT4All UI 实时演示

LM Studio 的开源替代品：Jan

LM Studio 因其简单的设置和用户友好的界面而受到 YouTuber 和博主的称赞。它提供了模型卡查看、模型下载和系统兼容性检查等功能，使初学者在模型选择中更加容易上手。

尽管 LM Studio 有很多优点，但由于其专有性质可能会在商业环境中因许可限制而限制使用，我不太推荐。此外，产品的不可避免的货币化也是一个问题。在可能的情况下，我更倾向于开源解决方案。

Jan[4] 是 LM Studio 的开源替代品，具有干净且优雅的 UI。开发者积极与社区（X 和 Discord）互动，保持良好的文档记录，并且对他们的工作透明——例如他们的路线图。

Jan UI 实时演示

通过最近的更新[5]，您可以轻松地从 Jan UI 下载模型。您还可以使用 HuggingFace 提供的任何模型或上传自定义模型。)，您可以轻松地从 Jan UI 下载模型。您还可以使用 HuggingFace 提供的任何模型或上传自定义模型[6]。Jan 还拥有一个基于 llama.cpp 构建的最小 LLM 推理服务器（3 MB），名为 nitro，它支持他们的桌面应用程序。

功能丰富：h2oGPT

H2O.ai 是一家在开源社区做出巨大贡献的 AI 公司，其 AutoML 产品和现在的生成 AI 产品均有卓越表现。h2oGPT[7] 提供了广泛的功能和定制选项，特别适合 NVIDIA GPU 拥有者：

•支持多种文件格式进行离线 RAG[8]•使用奖励模型评估模型性能•用于搜索、文档问答、Python 代码、CSV 的代理•通过成千上万个单元测试和集成测试进行稳健测试

你可以在 gpt.h2o.ai[9] 体验界面，看看是否符合你的需求。如果你对更多功能感兴趣，基本版本的应用程序可供下载，提供有限的文档查询功能。有关安装，请参阅安装说明。

h2oGPT 可在 https://gpt.h2o.ai/ 获取。

其他桌面解决方案

最受欢迎的 5 个开源 LLM 桌面解决方案：

完整表格可在这里查看[10]

2. 通过 CLI 和后端 API 服务器进行 LLM 推理

CLI 工具启用带有远程 API 的本地推理服务器，集成前端 UI（在第 3 节列出）以提供定制体验。它们通常提供与 OpenAI API 兼容的端点，以便通过最少的代码更改轻松切换模型。

虽然聊天机器人是最常见的用例，但你也可以使用这些工具来支持代理，使用诸如 CrewAI 和微软的 AutoGen 等框架。

高优化：llama.cpp

llama.cpp 提供了跨设备进行 LLM 推理的最小设置。该项目是 Llama2 的 C++ 移植版，并支持 GGUF 格式模型，包括多模态模型，如 LLava。其高效性能适合消费级硬件和边缘设备。

llama.cpp

有许多基于 llama.cpp 的绑定，如 llama-cpp-python（更多绑定在 README 描述中列出）。因此，许多工具和 UI 都基于 llama.cpp 构建，并提供了更用户友好的界面。

要开始，请按照这里的说明[11]操作。你需要从 HuggingFace 下载 GGUF 格式的模型。

llama.cpp 具有自己的 HTTP 服务器实现，只需输入 ./server 启动。

# Unix-based example
./server -m models/7B/ggml-model.gguf -c 2048

这意味着你可以轻松将其与第 2 节列出的其他 Web 聊天 UI 连接。

此选项最适合那些熟悉命令行界面（CLI），并且喜欢编写自定义脚本和在终端查看输出的人。

直观的 CLI 选项：Ollama

Ollama[12] 是另一个 LLM 推理命令行工具——基于 llama.cpp 构建，将脚本抽象为简单命令。受 Docker 启发，它提供简单直观的模型管理，便于切换模型。你可以在 https://ollama.ai/library 查看可用模型列表。你还可以按照这些说明运行任何来自 HuggingFace 的 GGUF 模型。

按照说明下载 Ollama 应用程序后，你可以在终端运行简单的推理：

ollama run llama2

关于选择模型大小的一个通用经验法则，可以参考 Ollama 的 README[13]。

要运行 7B 模型，你至少需要 8 GB 的 RAM，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。

默认情况下，Ollama 使用 4-bit 量化。要尝试其他量化级别，可以使用其他标签。q 后的数字代表量化使用的位数（例如，q4 意味着 4-bit 量化）。数字越高，模型越精确，但运行速度越慢，并且需要更多内存。

使用 ollama serve 命令，Ollama 会在端口 11434 上作为本地服务器运行，可以连接其他服务。更多信息可以在 FAQ[14] 中找到。

Ollama 以其强大的社区支持和积极开发而著称。其频繁的更新是由 Discord 上用户反馈驱动的。Ollama 有许多集成，并且已经有人开发了与移动设备的兼容性。

其他 LLM 后端选项

最受欢迎的 5 个 LLM 推理仓库：

3. 用于连接 LLM 后端的前端 UI

第 2 节讨论的工具可以使用 LLM 的预训练数据处理基本查询。然而，通过集成外部信息（例如网页搜索和检索增强生成（RAG）），它们的功能显著扩展。利用像 LangChain 和 LlamaIndex 这样的现有 LLM 框架的用户界面，可以简化将数据块嵌入到向量数据库中的过程。

本节中提到的 UI 可以无缝地与第 1 节工具设置的后端服务器接口。它们兼容各种 API，包括 OpenAI 的 API，允许轻松集成专有和开源权重模型。

与 ChatGPT 在视觉和功能上最相似：Open WebUI

Open WebUI[15] 是一个提供本地 RAG 集成、网页浏览、语音输入支持、多模态功能（如果模型支持）、支持 OpenAI API 作为后端等功能的 Web UI。以前称为 ollama-webui，该项目由 Ollama 团队开发。

OpenWeb UI 演示（https://github.com/open-webui/open-webui）

要将 Open WebUI 与 Ollama 连接，你只需安装 Docker，然后运行以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后，你可以在 http://localhost:3000 访问 Open WebUI。

功能丰富的 UI：Lobe Chat

Lobe Chat[16] 具有更多功能，包括其用于函数调用和代理市场的插件系统。插件包括搜索引擎、网页提取和许多社区定制插件。他们的提示代理市场类似于 ChatGPT 市场，允许用户共享和优化自己的提示代理。

要使用 Ollama 与本地 LLM 开始 Lobe Chat 对话，只需使用 Docker：

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

然后，你可以在 http://localhost:3210 访问 Lobe Chat。详细信息请阅读这里[17]。

支持多种后端的 UI：text-generation-webui

由 Oogabooga 开发的 text-generation-webui [18]是一个功能齐全的 Gradio Web UI，支持多种后端加载器，如 transformers、GPTQ、autoawq（AWQ）、exllama（EXL2）、llama.cpp（GGUF）和 Llama 模型——这些是 transformer 代码库的重构，带有额外的调整。

text-generation-webui UI（https://github.com/oobabooga/text-generation-webui）

text-generation-webui 具有高度可配置性，甚至可以通过其 transformers 后端使用 QLoRA 进行微调。这使得你可以增强模型的能力并根据你的数据进行定制。其 wiki 上有详尽的文档。我发现这个选项对快速测试模型非常有用，因为它开箱即用支持性很强。

其他 UI 选项

最受欢迎的 5 个开源 LLM UI：

完整（https://docs.google.com/spreadsheets/d/1Xv38p90V3GiJXjq0a3qc24056Vicn1I5MG6QiFE6nVE/edit#gid=0）

结论：我的使用推荐

我一直在使用 Ollama，因为它的多功能性、易于管理的模型和强大的支持，特别是它与 OpenAI 模型的无缝集成。对于编程，Ollama 的 API 可以与 continue.dev 的 VS Code 插件连接，替代 GitHub Copilot。

对于 UI，我更喜欢 Open WebUI，因为它具有专业的、类似 ChatGPT 的界面，或者选择 Lobe Chat 来使用额外的插件。对于那些寻找类似 ChatGPT 的用户友好桌面应用程序的人，Jan 是我的首选推荐。

我根据与 LLM 交互的方式，使用 Ollama 和 Jan 进行本地 LLM 推理。你可以集成 Ollama 和 Jan 以节省系统存储并避免模型重复。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述