Mac mini m4本地跑大模型(ollama + llama + ComfyUI + Stable Diffusion | flux)

change log

2024-12-11 10:28(推荐重新观看)

  • 针对绘画大模型的使用做进一步的详细操作(flux1dev)
    见篇节(绘画大模型)

2024-12-10

  • 更新了基础的chat大模型和绘画大模型的基础环境搭建。

安装chat大模型(不推荐,本地运行的大模型只能聊废话,不如网页版使用openAI等高效)

如果只是玩玩的话可以,llama3回复非常迅速,也非常有灵性,但是真实性非常差!!!请不要让他帮你干生产力工作。

首先下载ollama的安装包

https://ollama.com/
点击启动访问:http://localhost:11434
Ollama is running
代表已经运行起来了!

安装大模型和配置模型路径(macOS配置ollama模型路径)

Mac机身内存寸土寸金,外置硬盘盒将大模型安装到里面也可以运行,下面是修改ollama模型路径的方法:

  • 官方说设置环境变量OLLAMA_MODELS就可以了,但是在macOS上我试了好像没什么作用,包括设置访问权限chmod等都没用。
  • 这里说我的解决方案:

创建符号链接的方案!

默认ollama会放到根目录:.ollama文件夹下,打开终端运行:cd ~/.ollama

  • 创建符号链接
ln -s /Volumes/pm981a/ollama_models ~/.ollama/models

pm981a是我的外置硬盘盒,将/Volumes/pm981a/ollama_models更改为你的路径即可
更改完之后重启ollama!
这时候打开默认的文件夹是这样的:(带个小箭头就是链接成功了)
在这里插入图片描述
然后运行命令下载模型文件:

ollama run llama3.2

你的外置硬盘盒里面就有模型了(如果你之前在默认文件夹下载好了,则把manifests,blobs两个文件夹拷贝到硬盘盒文件夹下就可以了)
下载好之后在终端命令窗口里面问它就可以对话了!

open webUI(可视化大模型对话界面)

macOS安装docker后运行下方命令就可以打开浏览器访问了

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000就可以看到页面了,设置密码后注意保存!

安装绘画大模型(推荐)

如果你想玩,这个是推荐的,可以随意的画画画!

软件环境

首先安装ComfyUI,去GitHub下载一个最新版本,用python跑起来就可以了,界面是工作流这种:
https://github.com/comfyanonymous/ComfyUI

在这里插入图片描述
具体安装步骤:

  • 从releases下载好,解压进入根目录
  • 创建python虚拟目录
    python -m venv venv
    source venv/bin/activate
    
  • 执行安装pip install -r requirements.txt

    项目中一般会有这个依赖文件

  • 启动:python main.py访问8188就可以了

硬件环境

  • Mac mini m4(16+256G)
  • 外置硬盘盒:pm981a(2T)

ComfyUI + flux.1绘画大模型(推荐)

  • flux是黑森林工作室的绘画大模型,效果非常惊艳,细节性有显著优势,这是官网可以去瞅瞅;
  • 其中官方flux有三个版本:pro,dev,schnel(效果递减,占用资源递减)
    而pro是商用的,开源的只有后面两个dev和schnel。
  • 针对官方的flux有衍生出多个开源版本GGUF就是其中的一个(dev和schnel),我们使用这个。

flux(GGUF)

安装插件和下载模型flux(GGUF)
  1. 下载 Flux GGUF dev 模型 或 Flux GGUF schnell 模型 并将模型文件放置在 comfyui/models/unet 目录下
  2. 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在 comfyui/models/clip 目录下
  3. 下载 clip_l.safetensors 并将模型文件放置在 comfyui/models/clip 目录下
  4. 下载 ae.safetensors 并将模型文件放置在 comfyui/models/vae 目录下,建议重命名为 flux_ae.safetensors
  5. 安装 ComfyUI-GGUF 插件,
  • 首先下载ComfyUI-manager(这是所有的插件管理者)
  • 将解压后的文件夹复制到 comfyui/custom_nodes 的插件目录下
  • 重启 ComfyUI ,查看插件是否安装完成
    然后点击右上角的图标,再点击Custom nodes Manager ->搜索 GGUF安装即可

在这里插入图片描述

这是我下载的版本:GGUF(Q8[12GB]),t5(Q8[5GB])
注意:需要魔法网络!(如果没有可以联系我,1元一份)

GGUF 版本 Flux.1 工作流示例

flux-1-dev-gguf-example.json

文件太大,放文章上方资源区域了,免费的。

效果

这是我生成的狠人大帝手持吞天魔罐砸毁绿铜仙鼎的画面,一次性生成,个人感觉单论画面细节是非常不错的,画面表达方面就看各自语文水平了,🤣
在这里插入图片描述

========上方是2024.12.11 pm14:26更新

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/489900.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jenkins harbor安装

Harbor是一个企业级Docker镜像仓库‌。 文章目录 1. 什么是Docker私有仓库2. Docker有哪些私有仓库3. Harbor简介4. Harbor安装 1. 什么是Docker私有仓库 Docker私有仓库是用于存储和管理Docker镜像的私有存储库。Docker默认会有一个公共的仓库Docker Hub,而与Dock…

Flutter 内嵌 unity3d for android

前言: 最近刚整完 unity3d hybridCLR 更新代码和资源,我们 趁热打铁 将 Unity3D 嵌入 Flutter 应用中。实现在 Flutter 使用 Unity3D, 可以做 小游戏 大游戏; 之前都是 内嵌 Webview 来实现的。虽然 CocosCreator 做出来的效果也不错&#xf…

移远EC200A-CN的OPENCPU使用GO开发嵌入式程序TBOX

演示地址: http://134.175.123.194:8811 admin admin 演示视频: https://www.bilibili.com/video/BV196q2YQEDP 主要功能 WatchDog 1. 守护进程 2. OTA远程升级 TBOX 1. 数据采集、数据可视化、数据上报(内置Modbus TCP/RTU/ASCII,GPS协…

健康管理系统(Koa+Vue3)

系统界面(源码末尾获取) 系统技术 Vue3 Koa Nodejs Html Css Js ....... 系统介绍 系统比较简单,轻轻松松面对结业课堂作业.采用的是基于nodejs开发的Koa框架作为后端,采用Vue框架作为前端,完成快速开发和界面展示. 系统获取 啊啊啊宝/KoaVue3https://gitee.com/ah-ah-b…

KALI安装操作及过程

以下是在计算机上安装 Kali Linux 的详细教程:(通常我直接使用虚拟机) 解压虚拟机安装包,直接在虚拟机中打开KALI (将内存改为4GB) 初始密码账号:kali 一、准备工作 下载 Kali Linux 镜像文件…

【Python小课堂】第 1 课 Windows下的Python基础

第 1 课 Windows下的Python基础 By Yichen Li 2024/12/14 一、内容简介 开宗明义第一节,介绍在Windows下初识Python这门神奇且强大的编程语言,以及最简单的代码编写。 二、Windows11系统 默认读者对Windows11系统有基本的了解。 1、呼出系统命令行方法…

相机测距原理

基础概念的回顾 焦距的定义 焦距是指透镜或镜头的光学中心(通常是透镜的几何中心)到其焦点的距离。 焦点是光线的交点,它指的是透镜或镜头聚焦所有入射光线后汇聚的位置。焦点的位置与透镜的曲率和光线的入射角度相关。就是说所有光线经过…

java使用itext生成复杂数据的pdf

上一篇文章是 java使用itext生成pdf标签 使用了 Adobe Acrobat 软件 设置域 本篇文章不使用其他工具,纯代码手写 pdf表格 首先,什么是Itext Apache iText 是一个开源 Java 库,支持 PDF 文档的开发和转换。 在本教程中,我们将学…

回归预测 | Matlab实现基于BiLSTM-Adaboost双向长短期记忆神经网络结合Adaboost集成学习回归预测

目录 效果一览基本介绍模型设计程序设计参考资料效果一览 基本介绍 回归预测 | Matlab实现基于BiLSTM-Adaboost双向长短期记忆神经网络结合Adaboost集成学习回归预测 模型设计 基于BiLSTM-Adaboost的回归预测模型结合了双向长短期记忆神经网络(BiLSTM)和Adaboost集成学习的…

MATLAB生成.exe独立程序过程(常见问题解决方法)(2024.12.14)

本文只记录我执行过程中遇到的关键问题、以及解决方法,不讲诉整个流程。 电脑环境 win11系统 matlab 2024b 版本 整体流程 1.下载matlab运行时库,简写为MCR 2.配置MCR环境 3.打包程序 4.目标机器安装程序 一、下载MCR 下载这个折腾了大半天,大概问题就是…

python 调Qt C++ 写法配置和坑点

python 示例写法 和调c动态库一样 通过回调函数方式 将python函数注册到c 动态库中 from ctypes import *def DllCall(nParam, nFlag):print(nParam, nFlag)z2 0.6z3 0.4z4 0.0z5 0.3z6 0.5z7 0.8z8 0.3z9 0.9strData str(z2) str(z3) str(z4) str(z5)…

从零开始学docker(五)-可用的docker镜像

最近docker镜像都不能访问,目前亲测可用的docker镜像可用,并拉取mysql测试完成。 [缺点] docker search 查不到镜像的索引列表,只能手动查询索引目录(解决方案在最后)。 linux服务器vim打开镜像文件daemon.json vim /e…

开源 AI 智能名片 S2B2C 商城小程序对私域流量运营的全方位助力

在当今竞争激烈的商业环境中,私域流量运营已成为企业实现可持续发展和提升竞争力的关键策略之一。开源 AI 智能名片 S2B2C 商城小程序凭借其独特的功能与特性,从多个维度为私域流量运营提供了强有力的支持与推动,以下将详细阐述其在各个方面的…

Hadoop学习笔记(包括hadoop3.4.0集群安装)(黑马)

Hadoop学习笔记 0-前置章节-环境准备 0.1 环境介绍 配置环境:hadoop-3.4.0,jdk-8u171-linux-x64 0.2 VMware准备Linux虚拟机 0.2.1主机名、IP、SSH免密登录 1.配置固定IP地址(root权限) 开启master,修改主机名为…

鸿蒙NEXT开发案例:九宫格随机

【引言】 在鸿蒙NEXT开发中,九宫格抽奖是一个常见且有趣的应用场景。通过九宫格抽奖,用户可以随机获得不同奖品,增加互动性和趣味性。本文将介绍如何使用鸿蒙开发框架实现九宫格抽奖功能,并通过代码解析展示实现细节。 【环境准…

redis集群安装部署 redis三主三从集群

redis集群安装部署 redis三主三从集群 1、下载redis2、安装redis集群 三主三从3、配置redis开机自启动3.1、建立启动脚本3.2、复制多份redis启动脚本给集群使用3.3、添加可执行权限3.4、配置开机自启动 1、下载redis 本次redis安装部署选择当前最新的稳定版本7.4.1 下载链接: …

链表的回文结构

链表的回文结构。OJ链接 import java.util.*;/* public class ListNode {int val;ListNode next null;ListNode(int val) {this.val val;} }*/ public class PalindromeList {public boolean chkPalindrome(ListNode head) {// write code hereListNode slowhead;ListNode …

electron 打包 webview 嵌入需要调用电脑摄像头拍摄失败问题

electron 打包 webview 嵌入需要调用电脑摄像头拍摄失败问题 这篇文章是接我cocos专栏的上一篇文章继续写的,我上一篇文章写的是 cocos 开发触摸屏项目,需要嵌入一个网页用来展示,最后通过 electron 打包成 exe 程序,而且网页里面…

计算机组成原理与系统结构——多核计算机

笔记内容及图片整理自XJTUSE “计算机组成原理与系统结构” 课程ppt,仅供学习交流使用,谢谢。 多核处理器也称为芯片多处理器,将两个及以上处理器单元组合在一个芯片上。通常,每个内核都由独立处理器的全部组件构成,例…

JAVA学习(三)

方法内部类 匿名内部类 如下使用匿名内部类去实现:(对内存的损耗,对系统性能的影响相对较小) 总结