Stable Diffusion 进阶教程 - 二次开发(制作您的文生图应用)

目录

1. 引言

 2. 基于Rest API 开发

 2.1 前置条件

 2.2 代码实现

  2.3 效果演示

  2.4 常见错误

 3. 总结


1. 引言

        Stable Diffusion作为一种强大的文本到图像生成模型,已经在艺术、设计和创意领域引起了广泛的关注和应用。然而,对于许多开发者来说,仅仅使用模型的默认设置可能无法满足特定的需求。因此,二次开发成为了实现个性化定制和性能优化的关键途径。本文将引导读者进入Stable Diffusion的二次开发世界,探索如何通过插件、脚本、API二次来实现更高级的图像生成功能。

        首先有必要对 Stable Diffusion 的插件、脚本、API 做个初步的认识:

        Stable Diffusion的插件通常是一些附加的组件或工具,它们可以集成到Stable Diffusion的主程序中,以提供额外的功能或改进现有功能。

        例如,在上一文中《Stable Diffusion插件安装的3种方法,附4个插件下载地址!-CSDN博客》,提到的,人脸修复插件、OpenPose编辑插件都插件:

GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model.Auto detecting, masking and inpainting with detection model. - Bing-su/adetailericon-default.png?t=N7T8https://github.com/Bing-su/adetailer.gitGitHub - nonnonstop/sd-webui-3d-open-pose-editor: 3d openpose editor for stable diffusion and controlnet3d openpose editor for stable diffusion and controlnet - nonnonstop/sd-webui-3d-open-pose-editoricon-default.png?t=N7T8https://github.com/nonnonstop/sd-webui-3d-open-pose-editor.git         脚本:则是一系列自动化指令的集合,用于执行特定的任务或操作。通过编写脚本,用户可以自动化一些繁琐或重复性的任务,提高工作效率。在Stable Diffusion中,脚本可能被用于自动化图像生成、参数调整、功能拓展等任务。

        API(应用程序接口)是Stable Diffusion提供的一套强大的接口,本文特指SD以RestFul形式对外提供的接口,用于实现Stable Diffusion的各种功能。API允许开发者或用户通过编程的方式与Stable Diffusion进行交互,从而能够定制和扩展其功能。例如,通过API,用户可以接入Stable Diffusion的功能,将其集成到自己的应用程序或网站中,实现个性化的图像生成和处理。

       通过插件、脚本和API的拓展,它们使得Stable Diffusion更加灵活、高效和易于使用。

       本章主要对基于SD的Rest API开发进行详细介绍,给您一种拓展SD的思路,其他的两种开发方式,可以找对应的插件源码进行分析参考。

 2. 基于Rest API 开发

 2.1 前置条件

        如果需要使用SD的REST API,需要先启用API,启用位置如下图:

启用接口

        启用后,可以访问到SD基于Swagger的接口文档,在浏览器中访问http://127.0.0.1:7860/docs,可以查看非常详细的接口描述,以下是部分接口的截图:

接口文档

        如果您还没有安装SD,可以看看往期文章:

        Stable Diffusion绘图神器,2分钟极速安装教程!(提供安装包)-CSDN博客

  2.2 代码实现

        这里为了方便使用python的gradio进行演示,其实也可以使用其他任何语言来调用REST API,也就是说使用调用Rest API的方式,您可以基于SD使用任何语言来开发您的应用。

import gradio as gr
import json
import requests
import io
import base64
from PIL import Image
# 定义文生图请求
def text_to_image(text):payload = {"prompt": text,"steps": 20}url = "http://127.0.0.1:7860";payload_json = json.dumps(payload)# 发送POST请求response = requests.post(url=f'{url}/sdapi/v1/txt2img', data=payload_json).json()# response 响应包含 images、parameters 和 info,image 可能会含有多个图像 这里只取第一个图像。image  = Image.open(io.BytesIO(base64.b64decode(response['images'][0])))return image# 创建Gradio接口实例
iface = gr.Interface(fn=text_to_image,inputs="text",outputs="image",title="Text to Image Generator",description="Enter some text and see the generated image.")
# 启动交互式Web应用
iface.launch(inline=True)  # 使用`inline=True`在Jupyter notebook中运行

         上述代码中,payload 是请求的参数体,可以结合具体的接口参数,传入更多配置参数!

  • 启动程序
后台输出

        启动程序后根据后台输出提示,在浏览器中输入对应地址进行访问,出现如下界: 

启动后的界面

   2.3 效果演示

        在输入框中输入提示词,点击提交按钮,右边就会出现生成的结果。

演示效果

   2.4 常见错误

        如果点击提交按钮出现类似这样的错误:index.js:170     POST http://127.0.0.1:7861/run/predict 422 (Unprocessable Entity) ,根据经验可能是gradio和python的版本不对应。将python的版本切换到python3.8以上可以解决此问题。

 3. 总结

        至此,基于Stable Diffusion 的二次开发已经介绍完毕,在本教程中,提供了详细的代码示例,展示了如何调用SD的API。这些示例旨在为读者提供一个起点,以便在实际应用中进一步探索Stable Diffusion的二次开发潜力。基于Stable Diffusion的二次开发是一个充满挑战和机遇的领域。通过不断地探索和实践,相信您可以创造出更多有趣和实用的应用。

       

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/286238.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用倒模耳机壳UV树脂胶液制作舞台监听耳返入耳式耳机壳推荐的材料和工艺流程?

推荐的材料和工艺流程如下: 材料: UV树脂胶液:选择适合倒模工艺的UV树脂胶液,要求具有高透明度、良好的流动性和固化性能。模具材料:建议使用硅胶模具,因为硅胶模具具有较高的耐用性和稳定性,…

Linux 安装 JDK、MySQL、Tomcat(图文并茂)

所需资料 下载 1.1 软件安装方式 在Linux系统中,安装软件的方式主要有四种,这四种安装方式的特点如下: 安装方式特点二进制发布包安装软件已经针对具体平台编译打包发布,只要解压,修改配置即可rpm安装软件已经按照re…

C#自定义控件 生成 与 加入到项目

C#自定义控件生成 在C#中,自定义控件通常是通过继承现有的控件类(如UserControl、Form等)并添加或修改其属性和方法来实现的。以下是一个简单的示例,演示如何创建一个自定义控件: 首先,创建一个新的Window…

sonar+gitlab提交阻断 增量扫描

通过本文,您将可以学习到 sonarqube、git\gitlab、shell、sonar-scanner、sonarlint 一、前言 sonarqube 是一款开源的静态代码扫描工具。 实际生产应用中,sonarqube 如何落地,需要考虑以下四个维度: 1、规则的来源 现在规则的…

每日一练:LeeCode-200、岛屿数量【DFS递归+BFS队列】

给你一个由 1(陆地)和 0(水)组成的的二维网格,请你计算网格中岛屿的数量。 岛屿总是被水包围,并且每座岛屿只能由水平方向和/或竖直方向上相邻的陆地连接形成。 此外,你可以假设该网格的四条边…

MyBatis:查询与连接池

一、查询 1、多表查询 尽量避免使用多表查询,尤其是对性能要求较高的项目。因为多表查询必然会导致性能变低。 例如:select *from ta运行需要10ms,select *from tb 运行也需要10s。但是,select *from ta left join tb on ta.xx…

python初级第一次作业

一、 dayint(input("enter today day")) fdayint(input("enter num of day since today")) c((fday%7)day)%7 if c0:print("sunday") elif c1:print("monday") elif c2:print("tuesday") elif c3:print("wendnsday&quo…

Jmeter脚本优化——CSV数据驱动文件

使用 CSV 数据文件设置实现参数化注册 1) 本地创建 csv 文件,并准备要使用的数据,这里要参数化的是注册的用户名和邮箱。所以在 csv 文件中输入多组用户名和邮箱。 2) 通过测试计划或者线程组的右键添加->配置元件->CSV…

多线程合并练习题,线程安全(售票任务引入)--学习JavaEE的day30

day30 练习(day29) 注意代码注释,里面涉及代码实现遇到问题及解决方案,由于理解方便没有单独出来 1.计算任务 1.计算任务,一个包含了2万个整数的数组,分拆了多个线程来进行并行计算,最后汇总出…

FT232RL/FT232RNL替代GP232RNL USB转UART桥接控制器芯片低成本方案

关注过小编的朋友都知道,之前小编有推荐过FT232RL的替代产品GP232RL,软硬件直接兼容,无需做修改。随着产品的更新迭代,后面也出来了升级版GP232RNL,低成本方案,可直接替代FT232RL/FT232RNL,参数…

【数据结构】线性表的定义与基本操作

🎈个人主页:豌豆射手^ 🎉欢迎 👍点赞✍评论⭐收藏 🤗收录专栏:数据结构 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共同学习、交流进…

阿里二面:谈谈ThreadLocal的内存泄漏问题?问麻了。。。。

引言 ThreadLocal在Java多线程编程中扮演着重要的角色,它提供了一种线程局部存储机制,允许每个线程拥有独立的变量副本,从而有效地避免了线程间的数据共享冲突。ThreadLocal的主要用途在于,当需要为每个线程维护一个独立的上下文…

linux之sed编辑器指令练习

目录 一、sed编辑器 二、sed使用案例 1.1 s命令(substitute替换) 一、sed编辑器 sed编辑器比交互式编辑器快的多,可以简化数据处理任务,sed编辑器并不会修改文件,只会将修改后的数据,输出。 二、sed使用案例 首先…

RK3568平台 iperf3测试网络性能

一.iperf3简介 iperf是一款开源的网络性能测试工具,主要用于测量TCP和UDP带宽性能。它可以在不同的操作系统上运行,包括Windows、Linux、macOS等。iperf具有简单易用、功能强大、高度可配置等特点,广泛应用于网络性能测试、网络故障诊断和网…

【编译tingsboard】出现gradle-maven-plugin:1.0.11:invoke (default)

出现的错误: [ERROR] Failed to execute goal org.thingsboard:gradle-maven-plugin:1.0.11:invoke (default) on project http: Execution default of goal org.thingsboard:gradle-maven-plugin:1.0.11:invoke failed: Plugin org.thingsboard:gradle-maven-plugi…

mysql - 缓存

缓存 InnoDB存储引擎在处理客户端的请求时,当需要访问某个页的数据时,就会把完整的页的数据全部加载到内存中,也就是说即使我们只需要访问一个页的一条记录,那也需要先把整个页的数据加载到内存中。将整个页加载到内存中后就可以…

力扣hot100:207. 课程表

这是一道拓扑排序问题,也可以使用DFS判断图中是否存在环。详情请见:官方的BFS算法请忽略,BFS将问题的实际意义给模糊了,不如用普通拓扑排序思想。 数据结构:图的拓扑排序与关键路径 拓扑排序: class Sol…

交换机高级-端口安全

端口安全 1、一旦接口开启端口安全功能,那么接口所学到的动态MAC就会转换成安全MAC地址; 2、安全MAC地址默认情况下只能学习1个,可以通过命令手动修改学习数量; 3、安全MAC地址没有老化时间(但是依然存在内存中&…

2核4g服务器能支持多少人访问?阿里云2核4g服务器在线人数

阿里云2核4G服务器多少钱一年?2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年。可以在阿里云CLUB中心查看 aliyun.club 当前最新2核4G服务器精准报价、优惠券和活动信息。 阿里云官方2…

技术周刊 117 期:Visual Copilot、INP、Kimi 支持 200 万字上下文、Grok 开源、Figure 01、Open Sora 开源

美味值:🌟🌟🌟🌟🌟 口味:金骏眉 大家好,我是童欧巴。老规矩,咱们先来看技术资讯。 技术资讯 前端 VitePress (早就应该) 1.0 发布MistCSS,只使用 CSS 来…