【LLM Agents体验 3】利用Open-WebUI+Ollama本地部署Qwen2.5:7B大模型的安装指南

Open WebUI是一种基于 Web 的用户界面,用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面,使用户可以方便地加载、配置、运行和监控各种 AI 模型,而无需编写代码或使用命令行界面。

Open-WebUI 是一款功能强大且易于使用的 Web 界面,可让您轻松与大型语言模型 (LLM) 进行交互。它具有以下优点:

用户界面

直观且响应式,可在任何设备上提供卓越的体验。

支持多种主题和自定义选项,以满足您的个人喜好。

性能

快速响应和流畅的性能,即使在处理复杂任务时也是如此。

支持多模型和多模态交互,可实现更强大的功能。

功能

  • 全面的 Markdown 和 LaTeX 支持,可轻松格式化和共享文本。
  • 本地 RAG 集成,可通过文档检索增强 LLM 功能。
  • Web 浏览功能,可直接从聊天中访问和交互网站。
  • 提示预设,可快速启动常见对话。
  • RLHF 注释,可通过提供反馈来帮助改进 LLM。
  • 对话标记,可轻松组织和查找对话。
  • 模型管理功能,可轻松添加、删除和更新模型。
  • 语音输入和文本转语音,可实现自然语言交互。
  • 高级参数微调,可根据您的需要定制 LLM 行为。
  • 图像生成集成,可创建令人惊叹的视觉内容。

一、Open-WebUI安装

github地址

补充知识

该指令 docker pull ghcr.io/open-webui/open-webui:main 的作用是从 GitHub Container Registry (GHCR) 中拉取名为 open-webui 的 Docker 镜像,具体解释如下:

  1. docker pull:下载指定的 Docker 镜像到本地。

  2. ghcr.io/open-webui/open-webui:main:指定要拉取的镜像在 GitHub Container Registry 中的完整路径,包括镜像名称和标签:

    • ghcr.io/open-webui/open-webui:表示镜像的路径,ghcr.io 是 GitHub Container Registry 的域名,open-webui/open-webui 是镜像的名称。
    • :main:镜像的标签,指定了该镜像的版本为 main。如果不指定标签,默认会拉取 latest 标签的版本。

总结:该指令从 GitHub Container Registry 下载名为 open-webui 的镜像(版本 main),以便在本地环境中使用该镜像启动容器。 

输入指令:

针对CPU指令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main针对GPU指令:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果用GPU的话可以输入nvcc --version检查以下CUDA是否可以用。
这里以CPU方案为例:

 补充知识

该指令在 Docker 中运行一个名为 open-webui 的容器,具体含义如下:

  1. docker run:启动一个新的 Docker 容器。

  2. -d:以后台模式运行容器,容器启动后不会占用终端。

  3. -p 3000:8080:将宿主机的 3000 端口映射到容器的 8080 端口,这样可以通过访问宿主机的 localhost:3000 来访问容器中的服务。

  4. --add-host=host.docker.internal:host-gateway:将 Docker 容器的 host.docker.internal 映射到宿主机的 IP 地址 host-gateway,以便容器内的服务能够访问宿主机的服务。

  5. -v open-webui:/app/backend/data:挂载一个名为 open-webui 的 Docker 卷到容器内的 /app/backend/data 目录,确保容器重启或删除后数据仍然保留。

  6. --name open-webui:为该容器指定名称 open-webui,便于管理。

  7. --restart always:设置容器在意外停止后会自动重启

  8. ghcr.io/open-webui/open-webui:main:指定要拉取并运行的镜像为 ghcr.io/open-webui/open-webui,标签为 main

总结:这条指令会在 Docker 中启动一个名为 open-webui 的容器,将宿主机的 3000 端口映射到容器的 8080 端口,并在该容器中持久化数据,且容器异常停止后会自动重启。

端口映射: 

输入网址:http://localhost:3000,注册用户的邮箱和密码记住好。

进入登录后的页面: 

二、Ollama安装

参考之前博文:【LLM Agents体验 2】利用Dify本地部署Qwen2.5:7B大模型的安装指南

Ollama安装成功之后,就可以选择模型:

 开始愉快的聊天:

稍后更多的功能尝试分享。

参考资料:
在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南_windows安装ollama-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/469472.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

动态规划 —— dp 问题-买卖股票的最佳时机IV

前言 在开始之前先说一下本题与 买卖股票的最佳时机Ill 的解法很相似,也可以去参考lll 动态规划 —— dp 问题-买卖股票的最佳时机III-CSDN博客https://blog.csdn.net/hedhjd/article/details/143671809?spm1001.2014.3001.5501 1. 买卖股票的最佳时机IV 题目链接&…

软件测试学习记录 Day1

根据黑马程序员最新版的软件测试课程所做的笔记,需要原件后台私信: 练习提取测试点: 博主的答案,有不一样看法的可评论区讨论:

Kafka 快速入门(一)

1.1安装部署 1.1.1 集群规划 bigdata01bigdata02bigdata03zookeeperzookeeperzookeeperkafkakafkakafka 1.1.2 集群部署 官方下载地址:http://kafka.apache.org/downloads.html 检查三台虚拟机的zk是否启动:zkServer.sh start 默认启动方式 1)解压…

wordpress实用功能A5资源网同款 隐藏下载框 支付框 需要登录才能查看隐藏的内容

实用功能 隐藏下载框 支付框 需要登录才能查看隐藏的内容, 个人网站防天朝申查实测有效 。 登录前,未登录: 登录后,已登录: 功能说明 该代码段的主要功能是隐藏支付框并为未 登录用户显示一条提示信息,告知他们需要…

SQL HAVING子句

SQL 是一种基于“面向集合”思想设计的语言。HAVING 子句是一个聚合函数,用于过滤分组结果。 1 实践 1.1 缺失的编号 图 连续编号记录表t_seq_record 需求:判断seq 列编号是否有缺失。 SELECT 存在缺失的编号 AS res FROM t_seq_record HAVING COUN…

TCP可靠连接的建立和释放,TCP报文段的格式,UDP简单介绍

TCP连接的建立(三次握手) 建立连接使用的三报文 SYN 报文仅用于 TCP 三次握手中的第一个和第二个报文(SYN 和 SYN-ACK),用于初始化连接的序列号。数据传输阶段不再使用 SYN 标志。 SYN 报文通常只携带连接请求信息&a…

【量化交易笔记】14.模拟盘效果

说明 距离上一篇的量化文章有一段时间,应小伙伴要求,继续写下去,我思考了一下,内容有很多,绝大多数是研究的过程,并且走的是弯路,分享了怕影响大伙,之前因为行情不好,研…

FPGA实现以太网(二)、初始化和配置PHY芯片

系列文章目录 FPGA实现以太网(一)、以太网基础知识 文章目录 系列文章目录一、MDIO协议介绍二、PHY芯片管脚以及结构框图三、MDIO帧时序介绍3.1 MDIO帧格式3.2 MDIO写时序3.3 MDIO读时序 四、PHY芯片常用寄存器描述4.1 基本模式控制寄存器(0…

【韩老师零基础30天学会Java 】06章 数组、排序和查找

第六章 数组、排序和查找 1. 数组🚩🚩 数组介绍: 数组可以存放多个同一类型的数据。数组也是一种数据类型,是引用类型。即:数组就是一组数据。 示例: double [] hens{3,5,1,3,4,2,50,7.8,88.8,1.1,5}; double totalWe…

基于Zynq FPGA对雷龙SD NAND的测试

文章目录 SD NAND特征SD卡简介1.2 SD卡块图 SD卡样片Zynq测试平台搭建测试流程SOC搭建软件搭建 测试结果总结 SD NAND特征 SD卡简介 雷龙的SD NAND有很多型号,在测试中使用的是CSNP4GCR01-AMW与CSNP32GCR01-AOW。芯片是基于 NAND FLASH 和 SD控制器实现的SD卡。具…

在Linux上部署(MySQL Redis Elasticsearch等)各类软件

实战章节:在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面,我们学习了许多的Linux命令和高级技巧,这些知识点比较零散,同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用&#xff0c…

电脑不显示wifi列表怎么办?电脑不显示WiF列表的解决办法

有用户会遇到电脑总是不显示wifi列表的问题,但是不知道要怎么解决。随着无线网络的普及和使用,电脑无法显示WiFi列表的问题有时会让人感到困扰。电脑不显示WiFi列表是很常见的问题,但这并不意味着你无法连接到网络。不用担心,这个…

Android中Activity启动的模式

在 Android 开发中,Activity 的启动模式(Launch Mode)定义了当启动一个 Activity 时,系统会如何处理它的实例。不同的启动模式可以影响 Activity 在任务栈中的管理方式,对用户的使用体验产生直接影响。下面详细介绍四种…

Xshell 7 偏好设置

1 Xshell7 工具——更改用户数据文件夹 就是此电脑目录下的文档 该目录下的7 Xshell下的 applog ColorScheme Files 配色方案文件目录 HighlightSet Files 突出显示集目录 Logs 日志 QuickButton Files 快速命令集 Scripts 脚本文件 Sessions 会话文件 会话文件目录就…

丹摩征文活动 | 丹摩智算:大数据治理的智慧引擎与实践探索

丹摩DAMODEL|让AI开发更简单!算力租赁上丹摩! 目录 一、引言 二、大数据治理的挑战与重要性 (一)数据质量问题 (二)数据安全威胁 (三)数据管理复杂性 三、丹摩智算…

企业级容器技术docker之一键生成 Docker Compose

案例: 一键生成 Docker Compose 利用网站将docker 命令自动生成 Docker Compse Composerizehttps://www.composerize.com/ 基于docker-compose编译多服务镜像并启动容器案例 输入docker命令就可以自动转换为 docker-compose的格式

C++《stack与queue》

在之前的章节我们学习了C当中string、vector和list三种容器并且试着模拟实现这三种容器,那么接下来在本篇当中我们将STL当中的stack和queue,并且在学习stack和queue的使用之后和之前一样还会试着模拟实现stck和queue。由于stck和queue的模拟实现较为简单…

【Linux】常用命令(2.6万字汇总)

文章目录 Linux常用命令汇总1. 基础知识1.1. Linux系统命令行的含义1.2. 命令的组成 2. 基础知识2.1. 关闭系统2.2. 关闭重启2.3. 帮助命令(help)2.4. 命令说明书(man)2.5. 切换用户(su)2.6.历史指令 3.目录…

Selenium+Pytest自动化测试框架 ------ 禅道实战

前言 有人问我登录携带登录的测试框架该怎么处理,今天就对框架做一点小升级吧,加入登录的测试功能。 选用的测试网址为我电脑本地搭建的禅道 更改了以下的一些文件,框架为原文章框架主体 conftest.py更改 conftest.py #!/usr/bin/env python3 # -*…

java---认识异常(详解)

还有大家来到权权的博客~欢迎大家对我的博客提出意见哦,有错误会及时改进的~点击进入我的博客主页 目录 一、异常的概念及体系结构1.1 异常的概念1.2 异常的体系结构1.3异常的分类 二、异常的处理2.1防御式编程2.2 异常的抛出2.3 异常的捕获2.3.1异常声明throws2.3.…