一、Omost介绍

GitHub - lllyasviel/Omost：你的图像快到了！

Omost 是一个将 LLM 的编码能力转换为图像生成（或更准确地说，图像合成）能力的项目。“O”代表“omni”多模态，象征着项目支持多种形式的输入与输出，而“most”则表达了项目致力于最大化挖掘 LLM 模型潜力的决心，力求从每一个细节中释放出最多的图像生成可能性。作为 ControlNet 作者倾力打造的创新项目，标志着图像生成技术的一次革命性飞跃。该项目巧妙地将大型语言模型（LLM）的强大编码能力转化为直观且高效的图像生成能力，为用户带来前所未有的创作体验。

1.核心功能

用户只需通过简单的语言或提示词描述他们想要的画面，虚拟画布代理便能理解并转化为相应的视觉指令代码，通过全局描述和局部描述来定义图像特征。随后，这些指令会被传输给特定的图像生成器，后者负责将代码转换为惟妙惟肖的图像。用户还可以通过交互式编辑更改描述，进行代码重新编写。

Omost 提供了 LLM 模型，这些模型将编写代码，以使用 Omost 的虚拟代理来组合图像视觉内容。这可以通过图像生成器的特定实现来呈现，以实际生成图像。目前，提供了3个基于 Llama3 和 Phi3 变体的预训练 LLM 模型。

所有模型都使用混合数据进行训练：（1）包括 Open-Images 在内的多个数据集的地面实况注释，（2）通过自动注释图像提取数据，（3）来自 DPO（直接偏好优化，“代码是否可以由 python 3.10 编译”作为直接偏好）的强化，以及 （4）来自 OpenAI GPT4o 多模态功能的少量调整数据。

2.作者展示的部分效果图

十九世纪一个衣衫褴褛的男人穿着一件破烂的夹克（随机种子 12345）

图片，岩浆男孩（随机种子 -1）

梦中的婚礼（随机种子 12345）

二、容器构建

1.选择主机和镜像

在“租用实例”页面进入应用社区，搜索 Omost，点击选择即可一键匹配镜像

选择 3060 及以上性能显卡，点击立即创建，即可创建实例

2.进入创建的实例

在“项目实例”页面点击对应实例的“WebShell”，进入终端操作页面

以下命令均在该页面进行：

· 打开Omost_CN-main项目文件

cd Omost_CN-main

· 激活虚拟环境omost

conda activate omost

· 指定端口，运行py文件

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python gradio_app.py

出现以下页面代表运行成功：

3. 开启外部访问获取访问链接

返回“项目实例”列表，选择并点击对应实例的“开放端口”操作。

选择并点击对应实例的“开放对外端口”-->“获取访问地址”操作。访问的网址就已经复制到剪切板。

4. 进入 webUI 界面后即可操作

将复制的访问网址复制到新网页即可开始 ui 界面的使用

由于需要反复在 GPU 内加载 LLM 和 SDXL 大模型，因此运行模型出图速度比较慢，用 RTX3060 显卡进行运行，时间大概在八分钟左右出图。

以上就是在算家云搭建 Omost的流程，具体使用方式可进入算家云应用社区查看该模型的使用说明。

点击应用社区（suanjiayun.com） ，选择模型，一键开启 AI 之旅！