Mac mini m4本地跑大模型(ollama + llama + ComfyUI + Stable Diffusion | flux)

change log

2024-12-11 10:28(推荐重新观看)

  • 针对绘画大模型的使用做进一步的详细操作(flux1dev)
    见篇节(绘画大模型)

2024-12-10

  • 更新了基础的chat大模型和绘画大模型的基础环境搭建。

安装chat大模型(不推荐,本地运行的大模型只能聊废话,不如网页版使用openAI等高效)

如果只是玩玩的话可以,llama3回复非常迅速,也非常有灵性,但是真实性非常差!!!请不要让他帮你干生产力工作。

首先下载ollama的安装包

https://ollama.com/
点击启动访问:http://localhost:11434
Ollama is running
代表已经运行起来了!

安装大模型和配置模型路径(macOS配置ollama模型路径)

Mac机身内存寸土寸金,外置硬盘盒将大模型安装到里面也可以运行,下面是修改ollama模型路径的方法:

  • 官方说设置环境变量OLLAMA_MODELS就可以了,但是在macOS上我试了好像没什么作用,包括设置访问权限chmod等都没用。
  • 这里说我的解决方案:

创建符号链接的方案!

默认ollama会放到根目录:.ollama文件夹下,打开终端运行:cd ~/.ollama

  • 创建符号链接
ln -s /Volumes/pm981a/ollama_models ~/.ollama/models

pm981a是我的外置硬盘盒,将/Volumes/pm981a/ollama_models更改为你的路径即可
更改完之后重启ollama!
这时候打开默认的文件夹是这样的:(带个小箭头就是链接成功了)
在这里插入图片描述
然后运行命令下载模型文件:

ollama run llama3.2

你的外置硬盘盒里面就有模型了(如果你之前在默认文件夹下载好了,则把manifests,blobs两个文件夹拷贝到硬盘盒文件夹下就可以了)
下载好之后在终端命令窗口里面问它就可以对话了!

open webUI(可视化大模型对话界面)

macOS安装docker后运行下方命令就可以打开浏览器访问了

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000就可以看到页面了,设置密码后注意保存!

安装绘画大模型(推荐)

如果你想玩,这个是推荐的,可以随意的画画画!

软件环境

首先安装ComfyUI,去GitHub下载一个最新版本,用python跑起来就可以了,界面是工作流这种:
https://github.com/comfyanonymous/ComfyUI

在这里插入图片描述
具体安装步骤:

  • 从releases下载好,解压进入根目录
  • 创建python虚拟目录
    python -m venv venv
    source venv/bin/activate
    
  • 执行安装pip install -r requirements.txt

    项目中一般会有这个依赖文件

  • 启动:python main.py访问8188就可以了

硬件环境

  • Mac mini m4(16+256G)
  • 外置硬盘盒:pm981a(2T)

ComfyUI + flux.1绘画大模型(推荐)

  • flux是黑森林工作室的绘画大模型,效果非常惊艳,细节性有显著优势,这是官网可以去瞅瞅;
  • 其中官方flux有三个版本:pro,dev,schnel(效果递减,占用资源递减)
    而pro是商用的,开源的只有后面两个dev和schnel。
  • 针对官方的flux有衍生出多个开源版本GGUF就是其中的一个(dev和schnel),我们使用这个。

flux(GGUF)

安装插件和下载模型flux(GGUF)
  1. 下载 Flux GGUF dev 模型 或 Flux GGUF schnell 模型 并将模型文件放置在 comfyui/models/unet 目录下
  2. 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在 comfyui/models/clip 目录下
  3. 下载 clip_l.safetensors 并将模型文件放置在 comfyui/models/clip 目录下
  4. 下载 ae.safetensors 并将模型文件放置在 comfyui/models/vae 目录下,建议重命名为 flux_ae.safetensors
  5. 安装 ComfyUI-GGUF 插件,
  • 首先下载ComfyUI-manager(这是所有的插件管理者)
  • 将解压后的文件夹复制到 comfyui/custom_nodes 的插件目录下
  • 重启 ComfyUI ,查看插件是否安装完成
    然后点击右上角的图标,再点击Custom nodes Manager ->搜索 GGUF安装即可

在这里插入图片描述

这是我下载的版本:GGUF(Q8[12GB]),t5(Q8[5GB])
注意:需要魔法网络!(如果没有可以联系我,1元一份)

GGUF 版本 Flux.1 工作流示例

flux-1-dev-gguf-example.json

文件太大,放文章上方资源区域了,免费的。

效果

这是我生成的狠人大帝手持吞天魔罐砸毁绿铜仙鼎的画面,一次性生成,个人感觉单论画面细节是非常不错的,画面表达方面就看各自语文水平了,🤣
在这里插入图片描述

========上方是2024.12.11 pm14:26更新

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/12876.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于PLC的电热水器的水箱水位控制系统(论文+源码

1总体方案设计 本设计基于PLC的电热水器的水箱水位控制系统的整体结构如图2.1所示,系统采用S7-1200 PLC为控制器,可以实现电热水器水箱中的水位、水温检测,并且用户可以设定目标水位和水温,在自动模式下,当水位低于低…

专业学习|一文了解并实操自适应大邻域搜索(讲解代码)

一、自适应大邻域搜索概念介绍 自适应大邻域搜索(Adaptive Large Neighborhood Search,ALNS)是一种用于解决组合优化问题的元启发式算法。以下是关于它的详细介绍: -自适应大领域搜索的核心思想是:破坏解、修复解、动…

【Leetcode】4. 寻找两个正序数组的中位数

一、题目描述 给定两个大小分别为 m m m 和 n n n 的正序(从小到大)数组 n u m s 1 nums1 nums1 和 n u m s 2 nums2 nums2。请你找出并返回这两个正序数组的中位数 。 算法的时间复杂度应该为 O ( l o g ( m n ) ) O(log (mn)) O(log(mn)) 。 示…

如何优化垃圾回收机制?

垃圾回收机制 掌握 GC 算法之前,我们需要先弄清楚 3 个问题。第一,回收发生在哪里?第二,对象在 什么时候可以被回收?第三,如何回收这些对象? 回收发生在哪里? JVM 的内存区域中&…

吴签磁力_简单多功能的磁力搜索工具

磁力搜索,一个比较冷门的话题,但是它能解决我们对于音乐、影视、游戏、软件等资源的需求,今天给大家安利一款深夜学习必备的磁力搜索引擎——吴签磁力。 “吴签磁力”是一款集搜索、下载于一体的多功能磁力搜索引擎,它巧妙地将百度…

spring基础总结

先修知识:依赖注入,反转控制,生命周期 IDEA快捷键 Ctrl Altm:提取方法,设置trycatch 通用快捷键: Ctrl F:在当前文件中查找文本。Ctrl R:在当前文件中替换文本。Ctrl Z:撤销…

MyBatis XML文件配置

目录 一、 配置连接字符串和MyBatis 二、书写持久层代码 2.1 添加Mapper接口 2.2 添加UserlnfoXMLMapper.xml 三、增删改查 3.1 、增(Insert) 3.2、删(Delete) 3.3、改 (Update) 3.4、查 (Select) MyBatisXML的方式需要以下两步&am…

QT:对象树

1.概念 Qt 中的对象树是一种以树形结构组织 Qt 对象的方式。当创建一个QObject(Qt 中大多数类的基类)或其派生类的对象时,可以为其指定一个父对象(parent)。这个对象就会被添加到其父对象的子对象列表中,形…

设备通过国标GB28181接入EasyCVR,显示在线但视频无法播放的原因排查

安防监控EasyCVR平台支持多种视频源接入,包括但不限于IP摄像头、NVR、编码器、流媒体服务器等。平台采用高效的视频流接入技术,支持大规模视频流的并发接入,确保视频流的稳定性和流畅性。 有用户反馈,项目现场使用国标GB28181接入…

本地安装部署deepseek

在截图下载工具(地址不方便粘贴过不审核)复制安装程序链接下载模型管理工具ollama,下一步下一步,有需要也可以下载linux版的 githup:https://github.com/ollama/ollama/releases/tag/v0.5.7 安装程序:https://github.com/ollama…

熟练掌握Http协议

目录 基本概念请求数据Get请求方式和Post请求方式 响应数据响应状态码 基本概念 Http协议全称超文本传输协议(HyperText Transfer Protocol),是网络通信中应用层的协议,规定了浏览器和web服务器数据传输的格式和规则 Http应用层协议具有以下特点&#…

在Mapbox GL JS中“line-pattern”的使用详解

在Mapbox GL JS中,line-pattern 是一种用于在地图上绘制带有图案的线条的样式属性。通过 line-pattern,你可以使用自定义的图像作为线条的图案,而不是使用纯色或渐变。 1. 基本概念 line-pattern: 该属性允许你指定一个图像作为线条的图案。…

QT:信号和槽

目录 1.概念 2.信号和槽的使用 2.1代码的方式使用 2.1.1.使用connect关联 2.2图形化界面的方式使用 2.2.1使用流程 2.2.2使用名字关联槽函数 3.自定义信号和槽函数 3.1自定义槽函数 3.2自定义信号 4.总结 1.概念 信号和槽是QT特有的一种机制,信号和槽都是…

【数据分析】豆瓣电影Top250的数据分析与Web网页可视化(numpy+pandas+matplotlib+flask)

豆瓣电影Top250的数据分析与Web网页可视化(numpy+pandas+matplotlib+flask) 豆瓣电影Top250官网:https://movie.douban.com/top250写在前面 实验目的:实现豆瓣电影Top250详情的数据分析与Web网页可视化。电脑系统:Windows使用软件:PyCharm、NavicatPython版本:Python 3.…

simpleQtLogger日志库的使用

simpleQtLogger日志库的使用 simpleQtLogger日志库的使用1. 使用2. 修改点控制台中文乱码修复qt6没有setCodec()修复void*强转数值修复打印日志级别修改 simpleQtLogger日志库的使用 B站上看到一个简单的qt日志库,这里记录一下它的使用。 但是我并不知道源码是谁写…

Linux中安装rabbitMQ

使用docker安装 Linux中还没有安装docker的可以看我之前的视频,先把docker安装了。 Docker的安装_docker version 25.0.1-CSDN博客 检查是否有docker docker -v 上传mq的tar包 我们把mq的tar包上传到我们的Linux服务器中,随后加载成docker的镜像。 加载…

PostgreSQL技术内幕24:定时任务调度插件pg_cron

文章目录 0.简介1.基础知识2.pg_cron安装使用方式2.1 安装pg_cron2.2 使用方式 3.实现原理3.1 启动过程3.2 任务添加和管理3.3 调度过程3.4 执行原理 0.简介 pg_cron是PostgreSQL中的一个简单的基于cron的任务调度插件,本文将从其基础知识(Linux中Cron的…

【回溯+剪枝】找出所有子集的异或总和再求和 全排列Ⅱ

文章目录 1863. 找出所有子集的异或总和再求和解题思路:子集问题解法(回溯 剪枝)47. 全排列 II解题思路:排序 回溯 剪枝 1863. 找出所有子集的异或总和再求和 1863. 找出所有子集的异或总和再求和 一个数组的 异或总和 定义为…

每日一题洛谷P5721 【深基4.例6】数字直角三角形c++

#include<iostream> using namespace std; int main() {int n;cin >> n;int t 1;for (int i 0; i < n; i) {for (int j 0; j < n - i; j) {printf("%02d",t);t;}cout << endl;}return 0; }

Hackmyvm Blackhat

简介 难度&#xff1a;简单 靶机地址&#xff1a;https://hackmyvm.eu/machines/machine.php?vmBlackhat 参考wp&#xff1a;https://emvee-nl.github.io/posts/HackMyVM-Writeup-Blackhat/#privilege-escalation 环境 kali&#xff1a;192.168.194.9 靶机&#xff1a;192.…