本地安装Llama3.1与LobeChat可视化UI界面并实现远程访问大模型实战

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。
img

  • 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
  • 导航
    • 檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
    • 常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
    • 数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
    • 新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
    • 懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
    • 数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

    • 前言
    • 1. 本地部署 Llama3.1
    • 2. 本地安装 LobeChat 可视化 UI 界面
    • 3. 在 LobeChat 中添加 Llama3.1
    • 4. 安装 Cpolar 内网穿透
    • 5. 实现公网访问 LobeChat
    • 6. 固定 LobeChat 公网地址

前言

本篇文章主要介绍如何在本地安装 Llama3.1，以及在本地部署 LobeChat 可视化 UI 界面，并且结合 Cpolar 内网穿透，实现公网远程使用 Llama3.1。

就在前一阵，Meta 宣布推出迄今为止最强大的开源模型——Llama3.1 405B，Llama 3.1 是 Meta 最新推出的开源大语言模型，支持八种语言。它能够提供通用知识、数学计算、多语言翻译和工具使用能力，开放下载并允许开发者定制和微调。

通过 LobeChat 可视化 UI 界面来使用 Llama，实现在 web 界面就可以直接来使用，那么接下来如何进行操作。

e585a03b-93a8-437f-8156-1858bf7d13cb.webp

1. 本地部署 Llama3.1

本地电脑硬件要求：

​Windows：3060 以上显卡+8G 以上显存+16G 内存，硬盘空间至少 20G
Mac：M1 或 M2 芯片 16G 内存，20G 以上硬盘空间

本篇文章测试环境：Windows10 专业版

首先需要安装 Ollama 客户端，来进行本地部署 Llama3.1 大模型
下载地址：https://ollama.com/download
在下载页面点击 Windows，然后点击下载按钮。

d69f7c20d4cd9957aa6742fa661f927.png
下载完成后，双击下载的安装程序。

点击 Install 进行安装。

安装完成后，双击 ollama 客户端自动打开 Windows Power Shell，如果没有自动弹出，也可以手动打开 cmd，这里打开 cmd 为例：

我们在终端中输入ollama，它会显示出当前这款 ollama 程序，它的使用及安装命令

接下来继续在终端中安装 Llama3.1-8b（至少需要 8G 显存）

ollama run llama3.1:8b

image.png

上方显示已安装成功，接下来就可以进行使用了，比如这里可以在终端中输入问题

image.png

我们已经成功的在本地部署了 Llama3.1，但是只能在终端中来使用，如果能使用 web 界面进行交互，使用体验会更好，也可以保留之前的聊天记录，方便查找和使用，下面带大家安装 LobeChat 可视化 UI 界面！

2. 本地安装 LobeChat 可视化 UI 界面

Lobe Chat 作为一款开源、现代化设计的聊天应用，具有许多令人青睐的特点和功能，接下来教大家如何在本地安装 LobeChat。

**官网地址：https://lobehub.com/zh

**GitHub 地址：https://link.zhihu.com/?target=https%3A//github.com/lobehub/lobe-chat

本地安装流程：

首先从 github 上克隆 lobechat（如果没有安装 git 的话，进入 git 官网进行下载 windows 版本 https://git-scm.com/downloads）

打开命令行，从 github 下载项目到本地，执行下面的命令

git clone https://github.com/lobehub/lobe-chat.git

创建新目录

cd lobe-chat

在项目的根目录下，执行下面的命令，下载依赖。

pnpm install

（注意：没有安装 Node.js 的话，点击官网下载链接https://nodejs.org/en/download，这里演示版本是v20.12.2）

（注意：如果未安装 pnpm,需要使用下方代码一键安装 pnpm）

npm install -g pnpm

在项目的根目录下，运行 LobeChat，可以看到运行成功，出现 http://localhost:3010

pnpm dev

3. 在 LobeChat 中添加 Llama3.1

可以看到我们已经在本地部署了 LobeChat，测试一下是否部署成功打开新的浏览器输入：http://localhost:3010

可以看到进入到了 LobeChat 的主界面

  • 点击左上角头像，找到设置，选择语言模型，找到 Ollama，开启它，并做连通性检查 。

bdbfb444b044715d3f8359f55b6802d.png

  • 检查通过，获取模型列表

3ace19a605502972b912cb8006ecd4f.png

  • 回到聊天窗口，选择 llama3.1:8b 模型

ad2b2b0b624edb07e9c2d968e16ffa4.png

接下来就可以进行聊天了。

2393cfc390c301d57e6e6bfddde1e72.png

目前我们在本机部署了 LobeHub，并且还添加了 Llama3.1 大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合 Cpolar 内网穿透实现公网访问，免去了复杂得本地部署过程，只需要一个公网地址直接就可以进入到 LobeChat 中。

接下来教大家如何安装 Cpolar 并且将 LobeChat 实现公网访问。

4. 安装 Cpolar 内网穿透

下面是安装 cpolar 步骤：

Cpolar 官网地址: https://www.cpolar.com

点击进入 cpolar 官网，点击免费使用注册一个账号，并下载最新版本的 Cpolar

登录成功后，点击下载 Cpolar 到本地并安装（一路默认安装即可）本教程选择下载 Windows 版本。

Cpolar 安装成功后，在浏览器上访问 http://localhost:9200，使用 cpolar 账号登录,登录后即可看到 Cpolar web 配置界面,结下来在 web 管理界面配置即可。

接下来配置一下 LobeChat 的公网地址，

登录后，点击左侧仪表盘的隧道管理——创建隧道，

创建一个 LobeChat 的公网 http 地址隧道

  • 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
  • 协议：选择 http
  • 本地地址：3010 (本地访问的地址)
  • 域名类型：免费选择随机域名
  • 地区：选择 China Top

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是 http 和 https

image-20240515141800166

使用上面的 Cpolar https 公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 LobeChat 界面,这样一个公网地址且可以远程访问就创建好了,使用了 Cpolar 的公网域名,无需自己购买云服务器,即可到公网访问 LobeChat 了！

5. 实现公网访问 LobeChat

我们用刚才 cpolar 生成的公网地址，打开一个新的浏览器复制粘贴，可以看到进入到了 LobeChat 项目管理界面，然后选择 Llama3.1 大模型就可以进行在公网来使用了。

小结

如果我们需要长期进行团队协作的话，由于刚才创建的是随机的地址，24 小时会发生变化。另外它的网址是由随机字符生成，不容易记忆。如果想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问 LobeChat，我们可以选择创建一个固定的 http 地址来解决这个问题。

6. 固定 LobeChat 公网地址

我们接下来为其配置固定的 HTTP 端口地址，该地址不会变化，方便分享给别人长期查看你的博客，而无需每天重复修改服务器地址。

配置固定 http 端口地址需要将 cpolar 升级到专业版套餐或以上。

登录 cpolar 官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称。


保留成功后复制保留成功的二级子域名的名称

返回登录 Cpolar web UI 管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑

修改隧道信息，将保留成功的二级子域名配置到隧道中

  • 域名类型：选择二级子域名
  • Sub Domain：填写保留成功的二级子域名

点击更新(注意,点击一次更新即可,不需要重复提交)

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名

最后，我们使用固定的公网 https 地址在任何浏览器打开访问，可以看到访问 LobeChat 成功了这样一个固定且永久不变的公网地址就设置好了，然后选择一下 Llama3.1 大模型就可以。

接下来就可以随时随地进行异地公网来使用 Llama3.1 大模型了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！以上就是如何在本地安装 Llama3.1 以及在本地部署 LobeChat 可视化界面的全部过程。

觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙

img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/392063.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

企业定制AI智能名片微信小程序在私域流量运营中的应用与策略

企业定制AI智能名片微信小程序在私域流量运营中的应用与策略

摘要：随着2022年私域运营市场步入冷静期，企业逐渐从盲目模仿向精准化、个性化的运营模式转变。在这一背景下，企业定制AI智能名片微信小程序凭借其独特的智能化、便捷化特性，成为企业构建私域流量池、深化用户关系、实现高效转化的…
阅读更多...
【完美解决】正点原子Linux开发板无法联网ping通百度但可以ping通主机和虚拟机，联通了局域网但无法联通互联网，DNS配置问题

【完美解决】正点原子Linux开发板无法联网ping通百度但可以ping通主机和虚拟机，联通了局域网但无法联通互联网，DNS配置问题

问题记录 主机通过共享网络给以太网口想让正点原子的阿尔法Linux开发板连上网，网络配置过程如下： 开发板连接的是eth1口，通过在终端输入以下命令进入网络配置文件。 vi /etc/network/interfaces 将其配置为了以下地址 但是出现了一些问题&…
阅读更多...
RAG 入门指南：从零开始构建一个 RAG 系统

RAG 入门指南：从零开始构建一个 RAG 系统

本文正文字数约 3300 字，阅读时间 10 分钟。 从零开始构建一个应用可以让我们快速理解应用的各个部分。 这个方法其实非常适用于 RAG。 我在以前的文章中有介绍过 RAG 的概念、原理以及应用等，但其实，亲自动手来构建一个 RAG 系统或许能够…
阅读更多...
C语言指针详解（三）目录版

C语言指针详解（三）目录版

C语言指针详解（三）目录版 1、字符指针变量1.1、字符指针变量的一般应用1.2、常量字符串1.3、常量字符串与普通字符串的区别1.3.1 常量字符串的不可修改性1.3.2 常量字符串的存储 2、数组指针变量2.1、数组指针变量定义2.2、数组指针变量的初始化 3、二维…
阅读更多...
图的DFS

图的DFS

LeetCode2368 受限条件下可到达节点的数目 class Solution { public:int dfs(vector<vector<int>>& g,int x,int fa){int sum1;for(int y:g[x]){if(y!fa) sumdfs(g,y,x);}return sum;}int reachableNodes(int n, vector<vector<int>>& edges, …
阅读更多...
C语言指针（3）

C语言指针（3）

目录 一、字符指针变量 二、数组指针变量 三、⼆维数组传参的本质 四、函数指针变量 五、typedef 关键字 六、函数指针数组 一、字符指针变量 字符指针char* &符号名 符号名&#xff0c;这都是获取的是首元素地址。 int main() {char a[] "abcdef";cha…
阅读更多...
另一棵树的子树 - 力扣（LeetCode）C语言

另一棵树的子树 - 力扣（LeetCode）C语言

572. 另一棵树的子树 - 力扣&#xff08;LeetCode&#xff09;&#xff08;点击前面链接即可查看题目&#xff09; 一、题目 给你两棵二叉树 root 和 subRoot 。检验 root 中是否包含和 subRoot 具有相同结构和节点值的子树。如果存在&#xff0c;返回 true &#xff1b;否则&…
阅读更多...
机器学习中的关键距离度量及其应用

机器学习中的关键距离度量及其应用

引言 在当今的数据驱动世界中&#xff0c;机器学习算法扮演着至关重要的角色&#xff0c;它们在图像分类、面部识别、在线内容审核、零售目录优化和推荐系统等多个领域发挥着重要作用。这些算法的核心在于它们能够识别和利用数据之间的相似性。而实现这一点的关键&#xff0c;…
阅读更多...
ShardingSphere 内核工作原理

ShardingSphere 内核工作原理

文章目录 内核工作原理配置管控SQL Parser: SQL解析引擎SQL Router- SQL 路由引擎SQL Rewriter : SQL 优化引擎SQL Executor &#xff1a; SQL执行引擎Result Merger&#xff1a; 结果归并 内核工作原理 ShardingSphere的整体架构图是这样的&#xff1a; 配置管控 在进入Shar…
阅读更多...
MySQL事务，锁，MVCC总结

MySQL事务，锁，MVCC总结

mysql中最重要的就是事务&#xff0c;其四大特性让我们维持了数据的平衡&#xff0c;一致。那么事务究竟是什么&#xff0c;与什么相关&#xff0c;他的使用步骤&#xff0c;以及使用过程中我们会遇到什么问题呢&#xff1f;下面我们一起学习交流! 1.MySQL的存储引擎&#xff…
阅读更多...
SPIFFS与LittleFS的对gz文件格式的区别

SPIFFS与LittleFS的对gz文件格式的区别

SPIFFS 只能安装在Arduino上。LittleFS支持Arduino IDE和VScode的 PlatformIO。 SPIFFS serveStatic: server.serveStatic("/", SPIFFS, "/") 负责提供 SPIFFS 文件系统中的文件。您可以在 SPIFFS 上放置 .gz 文件&#xff0c;并该方法将自动处理它们。 …
阅读更多...
git cz代码提交规范，适用于node14以上

git cz代码提交规范，适用于node14以上

1.效果 3. 在项目中如何添加 3.1 安装(只提供npm安装方式)全局安装 commitizen npm i -D commitlint commitlint/config-conventional commitizen cz-git 3.2 配置模版 在项目的根目录下配置添加文件 commitlint.config.js 并写入如下代码 /** type {import(cz-git).UserCo…
阅读更多...
C# 类型转换

C# 类型转换

隐式&#xff08;implicit&#xff09;类型转换 1.不丢失精度的转换 2.显示&#xff08;explicit&#xff09;类型的转换 有可能丢失精度的转换 使用convert转换 ToString方法&#xff1a;将数值类型转换成字符串型
阅读更多...
PDF密码移除技巧： 五大 PDF 密码移除器

PDF密码移除技巧： 五大 PDF 密码移除器

如果您想解密或删除 PDF 密码&#xff0c;该怎么办&#xff1f;PDF 是一种经常用于商业的格式&#xff0c;您可以在培训、教育和商业场合使用它。添加这些 PDF 文件的密码可以保护您的安全和隐私。因此&#xff0c;有很多 PDF 都用密码加密&#xff0c;当您想要查看这些 PDF 时…
阅读更多...
吃透张宇1000题和660题，能保底100分吗？

吃透张宇1000题和660题，能保底100分吗？

暑假已经过一半了&#xff0c;很多人都在埋头做题&#xff0c;如果你选择的是1000题660题 一定要好好看这篇笔记&#xff01; 因为很多人做题做到现在&#xff0c;有点迷茫 主要的迷茫点有三个&#xff1a; 1、为什么1000题和660题也都做不少了&#xff0c;遇到新题&#x…
阅读更多...
RS485 芯片SN65HVD72DR导致的死机问题调试

RS485 芯片SN65HVD72DR导致的死机问题调试

最近再一次栽倒在这颗RS485 芯片上了&#xff0c;硬件说这和芯片功耗有点高&#xff0c;要控下电源, 结果10次有9次程序死机&#xff01; 先上图&#xff0c;请各位高手看看&#xff0c;这电路有问题没有&#xff1f; 为什么我会说是RS485 芯片导致的死机&#xff1f;因为 只要…
阅读更多...
ai自动配音工具

ai自动配音工具

AI拟音大师&#xff0c;给你的无声视频添加生动而且同步的音效 &#x1f61d;文件夹是一种基于文本的视频到音频生成框架,可以生成高质量的音频,在语义上相关,并与输入视频时间同步。 下载地址&#xff1a;https://pan.quark.cn/s/5a2be1cc5551
阅读更多...
被工信部认可的开源软件治理解决方案

被工信部认可的开源软件治理解决方案

近日&#xff0c;工信部网络安全产业发展中心正式发布了“2023年信息技术应用创新解决方案”&#xff0c;开源网安凭借“基于SCA技术开源软件治理解决方案”顺利入选&#xff0c;成为经工信部认可的优秀解决方案&#xff0c;这是开源网安连续两届荣获此荣誉。 工业和信息化部网…
阅读更多...
基于强化学习的Deep-Qlearning网络玩cartpole游戏

基于强化学习的Deep-Qlearning网络玩cartpole游戏

1、环境准备&#xff0c;gym的版本为0.26.2 2、编写网络代码 # 导入必要的库 import gym import torch import torch.nn as nn import torch.optim as optim import numpy as np from collections import deque import random# 定义DQN网络 class DQN(nn.Module):def __init__…
阅读更多...
基于web的购物网站的设计与实现(系统源码+lw+部署文档+讲解等)

基于web的购物网站的设计与实现(系统源码+lw+部署文档+讲解等)

文字目录&#xff1a; 目录 详细视频演示 系统实现界面 1.1系统开发环境以及运行环境 1.1.1系统开发环境 1.1.2系统运行环境 1.2系统功能实现 1.3管理员模块实现 2 技术介绍 2.1 thinkphp5介绍 2.2 MySQL数据库 2.3 B/S结构 4.1系统结构设计 4.2系统功能结构设计…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发