1,rembg(去除背景-》蒙版)
import rembg
from PIL import Image, ImageOps
import numpy as np# 打开图像
input_path = "./p_6258838.jpg"
input_image = Image.open(input_path)# 移除背景,得到带有透明背景的图像
output_image = rembg.remove(input_image)# 将 PIL 图像对象转换为 NumPy 数组,以便进一步处理
output_image_np = np.array(output_image)# 检查是否有 alpha 通道(4通道图像:RGBA),并生成蒙版
if output_image_np.shape[2] == 4:# 提取 alpha 通道,alpha 通道的值为 0 的部分为透明,255 为不透明alpha_channel = output_image_np[:, :, 3]# 转换为黑白蒙版,透明的部分设为黑色(0),不透明部分设为白色(255)mask = np.where(alpha_channel > 0, 255, 0).astype(np.uint8)# 将蒙版转换回 PIL.Image 对象mask_image = Image.fromarray(mask, mode='L') # 'L' 表示灰度图像# 显示或保存蒙版mask_image.show() # 显示蒙版图像# mask_image.save("mask_image.png") # 如果需要,可以保存蒙版图像
else:print("图像没有 alpha 通道,可能不是去除背景后的透明图像。")
2,关于inpatint anything 和 background remove 问题
如果安装了插件再WEBUI上面没有显示,说明sd-webui-controlnet 没有更新,我的操作是将sd-webui-controlnet文件夹直接删除,重新去GITHUB找新版本的,装好后需要重新运行代码,加载时长可能有点长因为sd-webui-controlnet需要重新安装新的包,切记关闭FQ代理。
3,关于stable diffusion webui 安装提示
初始安装的时候,代码运行不起来主要问题还是安装github上的包,没有代理。开启代理后直接可以用git直接拉下来就解决了。其次就是显卡和cuda ,torch , torchversion的问题。
ubuntu 22.04
cuda 11.4
pip 包--prefix=/usr/local/gcc-12
https%3A//repo.continuum.io/archive/Anaconda3-5.3.1-Linux-x86_64.shubuntu 22.04
cuda 11.4
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/torch_stable.htmlconda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorchpip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 -f https://download.pytorch.org/whl/torch_stable.htmlbash webui.sh --skip-torch-cuda-test --no-half --precision full --use-gpu all --listen.\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --listen deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiversenvcc -Vnvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0nvidia-560.35.03NVIDIA-Linux-x86_64-470.256.02.runpip install open_clip_torch
解决办法:
1.sd下创建 openai 文件夹
2 git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git
3, .\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --gradio-auth root:123456 --api --api-auth root:123456 --listen --enable-insecure-extension-access
以上是我的梳理,主要坑点还是在显卡的驱动问题上面,还有cuda对应的torch版本上面
4,关于比较好用的模型
麦菊模型,比较好用的lora
电商侘寂风格背景图模型-LoRA-丶-LiblibAI
麦橘V7专用嵌入式-Textual Inversion-谢源鑫Vesper-LiblibAI