openWebUI+ollamawindows+不用docker+webLite本地安装

openWebUI & ollama & windows & 不用docker & webLite 本地安装

总结一下安装教程

  • 10核CPU
  • 16G内存

两个web框架都可以,先说简单的 ollama-webui-lite(https://github.com/ollama-webui/ollama-webui-lite) 轻量级,只使用nodejs

先装 https://ollama.com/download

新建文件夹 E:\Proj\olloamaModsSav ,cmd进入该目录 ollama run llama3,那么就会直接下载该模型到该目录下,在blobs目录里面会出现这种文件

在这里插入图片描述

完了之后就会在cmd里可以进行问答,使用

部署这个webui 需要nodejs安装,(有个坑,c盘根目录需要一个package.json,可以通过命令初始化,如下)装完之后

{"name": "system32","version": "1.0.0","description": "","main": "index.js","scripts": {"test": "echo \"Error: no test specified\" && exit 1"},"keywords": [],"author": "","license": "ISC"
}

1. 部署WebUI(web-lite)(复制于 超越GPT-3.5!Llama3个人电脑本地部署教程 (ddhigh.com)

打开终端,执行以下命令部署WebUI:

git clone https://github.com/ollama-webui/ollama-webui-lite.git cd ollama-webui-lite npm install npm run dev

提示如下,WebUI已经在本地3000端口进行监听:

> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000VITE v4.5.2  ready in 765 ms➜  Local:   http://localhost:3000/

打开浏览器访问http://localhost:3000,可以看到如下图所示界面。默认情况下是没有选择模型的,需要点击截图所示箭头处选择模型。

上面就是部署完了,就能直接用了,ollama想下其他模型就在你刚才建的目录下,打开cmd,再进行ollama -h 查看所有命令,ollama run xxx 就是直接下这模型跑起来,重点是你不在这个目录下执行,那就把模型给下到c盘 ./ollama/models里去了

2. openwebUI 部署

参考 llama3本地环境配置(Ollama+open-webui) - 知乎 (zhihu.com) Open-WebUI(原Ollama_WebUI)Windows上源码安装配置记录 - 知乎 (zhihu.com)等

不使用docker,因为我win系统怎么用docker( 麻 ) ( 麻烦 ) ( 就是不想用 )

对照这两个教程,我是想用conda安,而不是直接用pyhton,我也不想把python放到环境变量里,于是就遇到很多坑…

当你做到这一步:

推荐的使用Docker,可是以我的经验,这种docker通常都非常的大。所以我准备用源码安装。

文档地址:https://docs.openwebui.com/getting-started/

我的具体步骤,大部分按文档操作,在pip的时候增加了国内源,

`git clone https://github.com/open-webui/open-webui.git
cd open-webui/

Copying required .env file

cp -RPp .env.example .env

Building Frontend Using Node

npm i
npm run build

Serving Frontend with the Backend

cd ./backend
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt -U`

这个pip安装,我是想用conda ,于是你要这样操作

  1. 打开anaconda prompt ,
  2. 创建一个环境 python=3.11
  3. 进入你存放这个webui的目录的./backend 下面
  4. 试一试你用 是哪一个pip , 使用 where pip
  5. 如果发现不是你conda这个虚拟环境下的pip ,例如是c盘里某python下的pip,而你的conda虚拟环境在E盘莫env下面,请 conda install pip (conda安装不上的,报网络错误的,试试镜像源,)
  6. 然后继续看看 where pip
  7. 发现确实是你conda这个虚拟环境下的pip ,然后 别急,这是执行 pip install 会给c盘拉屎
  8. 去修改pip缓存位置,自己在其他盘建个空文件夹 Python随笔:改变Windows中 pip 的缓存位置与删除 pip 缓存_c盘的pip文件夹可以删除吗-CSDN博客 pip config set global.cache-dir "D:\Programs\Python\Python36\pipcache"
  9. 执行 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt -U
  10. 注意执行这一步的时候就等完了,一直等到命令行弹出目录来,别ctrl+c 人工结束了,等就完事 了

然后参加上面的教程的步骤,第二步不用动,第一步,这个地址是ollama的地址,端口要对上,不然openwebUI找不到

在这里插入图片描述

然后就启动 ,还是那个目录

start_windows.bat (注意这里进去的时候在conda里,这个之前创的虚拟环境,这个目录下进入,不然找不到包,因为你cmd默认用的是环境变量里那个python,或者就没有Pyhton,例如:

**(py311olm) E:\Proj\web\ollama-openui\open-webui\backend>start_windows.bat )**

如果出现缺包的,就是你过早的 ctrl+c 了,不行就删了conda这个环境重来,比较省事 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt -U

这两个都能使用,就是不知道为什么 openwebUI 比 weblite 这个慢的多,来个懂的说说🤔

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/314187.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【介绍下如何使用CocoaPods】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

模板(二)

文章目录 模板(二)1 非类型模板参数2. 模板的特化2.1. 概念2.2 函数模板特化2.3 类模板特化2.3.1 全特化2.3.2 偏特化2.3.3 类模板特化应用示例 3 模板的分离编译3.1 什么是分离编译3.2 模板的分离编译3.3 解决方法 4. 模板总结 模板(二&…

20.Nacos集群搭建

模拟Nacos三个节点,同一个ip,启动三个不同的端口: 节点 nacos1, 端口:8845 节点 nacos2, 端口:8846 节点 nacos3, 端口:8847 1.搭建数据库,初始化数据库表结构 这里我们以单点的数据库为例 首先新建一…

vue与Spring boot数据交互例子【简单版】

文章目录 什么是Vue?快速体验Vueaxios是什么?向Springboot后端发送数据接收Springboot后端数据小结 什么是Vue? 官网解释:Vue 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue 被设计为可以自底向上…

黑马微服务课程1

目录 一、GateWay 二、服务调用OpenFeign 三、Sentinel 1. 流量控制(限流规则) 2. 隔离和降级 2.1 FeignClient整合Sentinel 2.2 线程隔离(舱壁模式) 2.3 熔断降级 3. 授权规则 3.1 授权规则 3.2 自定义异常结果 4. 规…

功能测试前景揭秘:会被淘汰吗?

在当今快速发展的信息时代,软件已经成为我们工作、学习乃至生活中不可或缺的一部分。随着技术的不断进步和应用的广泛普及,软件测试作为保障软件质量和功能实现的关键步骤,其职业发展路径也受到了广泛的关注。特别是针对功能测试这一细分领域…

T1级,生产环境事故—Shell脚本一键备份K8s的YAML文件

大家好,我叫秋意零。 最近对公司进行日常运维工作时,出现了一个 T1 级别事故。导致公司的“酒云网”APP的无法使用。我和我领导一起搞了一个多小时,业务也停了一个多小时。 起因是:我的部门直系领导,叫我**删除一个 …

计算机视觉 CV 八股分享 [自用](更新中......)

目录 一、深度学习中解决过拟合方法 二、深度学习中解决欠拟合方法 三、梯度消失和梯度爆炸 解决梯度消失的方法 解决梯度爆炸的方法 四、神经网络权重初始化方法 五、梯度下降法 六、BatchNorm 七、归一化方法 八、卷积 九、池化 十、激活函数 十一、预训练 十二…

MemFire解决方案-物联网数据平台解决方案

方案背景 随着各种通讯、传感技术发展,数据通讯成本的急剧下降,数以万亿计的智能设备(智能手环、智能电表、智能手机、各种传感器设备等)接入网络,并源源不断的产生海量的实时数据。这些海量数据的价值挖掘&#xff0…

【算法基础实验】图论-基于DFS的连通性检测

基于DFS的连通性检测 理论基础 在图论中,连通分量是无向图的一个重要概念,特别是在处理图的结构和解析图的组成时。连通分组件表示图中的一个子图,在这个子图中任意两个顶点都是连通的,即存在一条路径可以从一个顶点到达另一个顶…

【Webgl_glslThreejs】搬运分享shader_飘落心形

来源网站 https://www.shadertoy.com/view/4sccWr效果预览 代码演示 将shadertory上的代码转成了threejs可以直接用的代码,引入文件的material,并在创建mesh或已有物体上使用material即可,使用时请注意uv对齐。 import { DoubleSide, Shad…

深度学习从入门到精通—Transformer

1.绪论介绍 1.1 传统的RNN网络 传统的RNN(递归神经网络)主要存在以下几个问题: 梯度消失和梯度爆炸:这是RNN最主要的问题。由于序列的长距离依赖,当错误通过层传播时,梯度可以变得非常小(消失…

(MSFT.O)微软2024财年Q3营收619亿美元

在科技的浩渺宇宙中,一颗璀璨星辰再度闪耀其光芒——(MSFT.O)微软公司于2024财政年度第三季展现出惊人的财务表现,实现总营业收入达到令人咋舌的6190亿美元。这一辉煌成就不仅突显了微软作为全球技术领导者之一的地位,更引发了业界内外对这家…

第十五届蓝桥杯题解-数字接龙

题意:经过所有格子,并且不能进行交叉,走的下一个格子必须是当前格子值1%k,输出路径最小的那一条(有8个方向,一会粘图) 思路:按照8个方向设置偏移量进行dfs,第一个到达终…

C/C++ 入门(7)string类(STL)

个人主页:仍有未知等待探索-CSDN博客 专题分栏:C 请多多指教! 目录 一、标准库中的string 1、了解 2、string类常用接口说明 1、常见的构造函数 2、容量操作 ​编辑 3、访问及遍历操作 4、修改操作 5、非成员函数 二、string类实现 …

LeetCode57. 插入区间

LeetCode57.插入区间 题目思路: 代码 /* 前置知识&#xff1a; vector<vector<int>> a,b; 二维vector数组是可以将二维中的一维vector数组给push_back的&#xff0c; 不是只有单个元素才可以&#xff0c;整个一维的vector数组也可以 b[0] {1,2,3},b[1] {4,5,6}…

【AIGC调研系列】大型语言模型如何减少幻觉生成

在解读大型语言模型&#xff08;LLMs&#xff09;中的长格式事实性问题时&#xff0c;我们首先需要认识到这些模型在生成内容时可能会产生与既定事实不一致的情况&#xff0c;这种情况通常被称为“幻觉”[2][3]。这种现象不仅可能导致信息的误传&#xff0c;还可能对社会造成误…

封装 H.264 视频为 FLV 格式然后推流

封装 H.264 视频为 FLV 格式并通过 RTMP 推流 flyfish 协议 RTMP (Real-Time Messaging Protocol) RTSP (Real Time Streaming Protocol) SRT (Secure Reliable Transport) WebRTC RTMP&#xff08;Real Time Messaging Protocol&#xff09;是一种用于实时音视频流传输的协…

indexDB 大图缓存

背景 最近在项目中遇到了一个问题&#xff1a;由于大屏背景图加载速度过慢&#xff0c;导致页面黑屏时间过长&#xff0c;影响了用户的体验。从下图可以看出加载耗时将近一分钟 IndexDB 主要的想法就是利用indexDB去做缓存&#xff0c;优化加载速度&#xff1b;在这之前&am…

C语言——内存函数的实现与模拟

1. memcpy 函数 与strcpy 函数类似 1.头文件 <string.h> 2.基本格式 • 函数memcpy从source的位置开始向后复制num个 字节 的数据到destination指向的内存位置。 • 这个函数在遇到 \0 的时候并不会停下来。 • 如果source和destination有任何的重叠&#xff0…