如何将 AI 绘画融入工作流?案例!

今天和大家分享我通过 AI 在画风、角色和应用上三个维度的可能性尝试,囊括了我最近做的 8 个 demo,接下来请大家听我报菜名。53960cbd6aa2d3e8dda14cbf4d9b5b0a.png 

一、画风尝试:从 “美影厂” 模型 到 “敦煌”

会做这个方向的尝试是因为看到了一个很棒的国风水墨画 LoRA 模型:墨心。[1] 这个 LoRA 模型相信很多朋友都知道,可以谓之为目前表现中国山水画最强的 AI 模型了。

7c38eab05d211728c1da32a39a46f20f.png

作者是我的朋友,由于其本人的期望,就不在这里署名了。他分享给我了一些经验,都是非常有价值的思考,所以也分享给大家。

1. 取法乎上得其中,让 AI 临摹的对象一定要选大师。墨心的数据集选的是明清两代的绝顶大师,包括:吴昌硕、郑板桥、任伯年等人。墨心能有一定的效果,其实是 AI 机器学习大师的笔意得来的。

2. 在数据集标注上一定要花功夫认真去描述,在自动生成的基础上,我是用 ChatGPT 帮我翻译成英文替换进去的。

91d8e33e5a7fdef6a4bd437a83aa5820.png

上图是墨心作者提供的数据集案例,一共使用了 209 张图,对于每一张图都进行了领域内详细的标注,每张图训练了 100 次。数据集大多都是山水草木鸟,但 AI 学习了其中技法后将其 apply 到了肖像绘画中,这真是神奇之处。

按照墨心作者的方式,我用 70 多张上海美影厂早期作品的截图,以 Deliberate 模型作为底模,通过 LoRA 的微调方式做了一个上海美影厂的 LoRA,并且用其生成了一些迪士尼的公主和王子。效果还不错。

dc03c39034c81b9ea65d73f4ba7d4af3.png

在这件事上,我还感受到墨心作者对于国画本身深厚的了解,我想这是让他能够训练出这个模型的主要原因。我想起前不久去北京看敦煌的壁画展。

05f7bcdb32b97fcd8791b2794d818413.jpeg

此次最大的震撼不是在于壁画自然氧化后留存下来颜色的美感,而是敦煌壁画的叙事方式:他会把一个故事不同时间点的事件放在一张图里。

比如《九色鹿》是从画面两端双线叙事,到画面中点处双线汇合后迎来大结局。而《舍身饲虎图》则是因果和轮回都放在了同一张图里。

8510e6cbafece178344a26ccd3868e70.png

这让我想起了特德姜的小说《你一生的故事》,我猜测敦煌时期人们的世界观会不会也是:“我生活在人生的所有时刻。”

目前的算法模型的产出很符合我们现在看待世界的线性的方式,呈现的是“此刻” 或者“某个状态”。现在已经有很多很好的绘画产品能够仿制出敦煌的风格。

08cd902fdfe7964060942ed0519e27f5.png

但是 AI 知道文殊菩萨骑狮子、普贤菩萨骑大象吗?如果我们真的有所谓 legacy 可以留给后代或者 AI,不应当只是色彩或构图,还有故事和我们看待世界的方式。

如果我将这种 “异时同图” 的叙事逻辑作为标注给到 AI,让他学会这种叙事方式,把故事不同时刻不同状态,在同一张画里显现,是否有可能教会 AI 一种新的叙事?

我们需要的可能不是更多的算法工程师?还是更多垂直领域的从业者懂一些算法。


二、角色尝试: “恋与制作人” 真人卡牌

探索角色模型的原因,主要是受了堪云工造老师 [2] 赛博 Coser 系列的启发。

据堪云老师本人描述,这是在基于 ChilloutMix 模型的基础上,用二次元角色的立绘提取角色特征训练 LoRA,进行生成后得到的。

99dd3948b1dc67624eae1cb0d96ff314.png

基于他的思路,我在主要是画女生模型的 ChilloutMix 上,通过喂主要为二次元男性角色的立绘,对模型的角色特征进行纠正,做出了画男生的 LoRA 模型。

a9f9e51f7312d62321903aecb8e83a12.jpeg

LoRA 的神奇之处还在于,你可以叠加不同的 LoRA 来一起使用,除了写实模型以外,我还做了以下尝试:(使用模型的下载地址都标在了文尾)

↓ 角色 LoRA + 贴纸模型 waves-chibi-style [3]

a045cae3198c5749b66d0da75258aa85.png

↓ 角色 LoRA + 大头娃娃模型 bigheaddoll_v1 [4]

60370d1452bfe8bbe524de231fe42de4.jpeg

↓ 角色 LoRA + 古风模型 moxin1.0 [1] 

e221e1db90ba9024fc5fda456ca91376.jpeg

↓ 角色 LoRA + 吉卜力模型 StudioGhibliStyle [5]

e5ea1c1f3dfd5f96a065768988e9a63c.jpeg

角色特征、风格特征可以使用 LoRA 来成为可独立管理的资产,在需要时通过 AI 来进行融合创作。

同期,一项新的技术进入了我们的视线。ControlNet 赋予了创作者在与 AI 协同工作的过程中更大的控制力,AI 可以根据你提供的线稿、深度图、姿势图等,进行完全遵循你个人创作思路的生成。逗砂的公众号文章做了非常详细的介绍:《游戏要结束了:ControlNet 正在补完 AIGC 工业化的最后一块拼图》

在探索 ControlNet 期间,我也做了一个从线稿转成图的效果尝试,以及图像在不同参数下生成效果的变化。

17e07984b00efff0a5ab18e1d992221c.jpeg

bd96dc791245af6c19bb49cf77bf6f7a.jpeg

这个测试结果也得到了 ControlNet 开发者本人的转发和认可。

这件事情我还蛮开心的,知道自己不仅受益于开源社区,成果还能反过来激励到开发者,或者我的分享对于开源社区是有益的,这对我来说是很重要的事情。

32f2bb8442e4ee915df6af9c591491e3.jpeg

ControlNet 还可以多层控制:比如人物姿势和背景线条分开控制,人物姿势和深度图分开控制等。

3771a5574d9adc45fa1c11f3b5d5e188.jpeg

有了这项技术的加持后,我开始使用自己做的角色 LoRA 将《恋与制作人》的卡牌角色周棋洛,进行了真人复活。

以下图片左边是卡牌原图,右边是结合 LoRA+ControlNet Canny 模式,进行的赛博 coser 卡牌生成。 

3adaaf33931bce49f5ac62b1494731bd.jpeg

e35a4120fe7c43c8c5fe67883230e995.jpeg

9030bf6550962f14831e7680e2e93deb.png

a109b6526da14a5798fb7219b0fccebd.png

这个系列在小红书上也得到了很多用户的喜欢。我因此也有一个体会:如果要拿 AI 做内容的话,得是真的对这个内容有了解/感兴趣/喜欢的人来做。

b3d7c02dc2ea25b45271625671e71f45.jpeg


三、应用尝试: “永劫无间” 二创美宣 到 “AI Bubbles” 虚拟时尚杂志

在更新了一段时间的赛博 Coser 以后,我对 LoRA 训练、ControlNet 使用都比较熟悉了。于是我开始想是否有机会用 AI 的流程,来出一些游戏美宣质量的图。

这个时候另一款我在玩的游戏,永劫无间,出了一个叫做胡为的新角色。我去测试服玩了一下后决定做这个角色的二创美宣图试试。

5f900355c4b2242f210620ab7fd760c3.jpeg

我先进入测试服游戏界面,截了一系列这个角色各个角度的图片,然后训练了这个角色特征为主的 LoRA. 其中底模的选择很重要,因为游戏风格的原因,我选择混合了古风和写实真人的模型作为底模。

LoRA 模型训练好后,即可在结合 ControlNet 的基础上生成指定姿势的写实风格的人像。最后再用 Midjourney 生成了虎纹和背景火焰的元素充实画面,在 Photoshop 里叠加了一些布料做旧和火花的特效。

1317d1161b1f277a0d69e532cfe68038.png

虽然在装备的质量和细节上还有许多需要提升的地方,但目前大体的效果至少我个人是非常满意和喜欢的,这张图从模型训练到最终的合成渲染,一共花了 2 天时间。

最后再和大家分享一个应用尝试。写到这里我舒了一口气,终于要写完了  如何让 AI 学习指定风格的服装,然后让赛博模特来穿出效果图,是最近 AIGC 圈子里在关注的一个子方向。

我和我的朋友 Momo 桑做了一个以 y2k 风格为主的服装搭配 LoRA 模型,并以 AI 作为“模特”,以此 LoRA 模型作为“造型师”,尝试做了一个虚拟时尚杂志。

4521b00ef5c6597030c910471fde81dc.png

我们在训练 LoRA 的过程中喂了许多 y2k 风格的单品样图,在模型生成的时候,通过描述词尽可能精准地去贴单品的版式和特征。对于常见的款式来说是有效的,对于花纹比较繁复的还是容易翻车。(不过我们逐渐在单品控制上效果越来越好,如果对本项目感兴趣也可以关注我们的项目小红书@AI Bubbles泡泡)

ebdf74e87394cf19af5323ac63866e2c.jpeg

090e316a0d97d73117815b070e347e48.jpeg

体会到了一把时尚编辑的快感。虽然不相信 AI 模特会真的取代真人模特,因为至少我和身边很多朋友都还是会更想看到真人模特试穿衣服,还原衣服上身效果,这样才会觉得比较安心去购买。但这种流程我相信一定会能催生出新的内容载体,找到其存在的方式。

终于写完了!最近一直在做各种类型的 AI 尝试,真的非常非常开心,像是在探索可能存在但还没被发现的魔法一样。和机器一起去探索未知的边界,每一点结果都是全新的发现。如果你想更及时地看到平时我的各种尝试的话,欢迎关注我的微博@海辛Hyacinth

谢谢你阅读到这里,提前预祝你春分愉快。


Reference

[1] 墨心:civitai.com/models/12597/moxin

[2] 堪云工造:afdian.net/a/kanyon

[3] 贴纸:civitai.com/models/4379/toru8p-waven-chibi-style

[4] 大头娃娃:civitai.com/models/16643/big-head-doll

[5] 吉卜力:civitai.com/models/6526/studio-ghibli-style-lora

写完这篇推文,我感觉自己被抽干了..

如果你喜欢这篇推文,请考虑“赞赏”或者“分享”~ 

这对我是很大的鼓励😊

寻求社区合作 ⬇️

c84504f81dd3672f03ba92ca5dd39e34.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/13256.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

只需一步,永久白嫖!请低调使用!

点击上方“民工哥技术之路”,选择“设为星标” 回复“1024”获取独家整理的学习资料! 对于运维,或者说常常使用Linux系统的程序员来说,一款好用、功能强大的SSH工具是必不可少的。 所以,很多人都很喜欢Xshell这个工具。…

嘘!P站数据分析年报;各省市疫情感染进度条;爱奇艺推出元宇宙App;You推出AI聊天机器人;GitHub今日热榜 | ShowMeAI资讯日报

👀日报合辑 | 🎡AI应用与工具大全 | 🔔公众号资料下载 | 🍩韩信子 📢 『The 2022 Year in Review』P站2022年度报告 Pornhub 发布了第 9 次年度报告,数据科学家们绘制了多张彩色可视化图表,回顾…

世优科技携ChatGPT数字人及远程驱控技术亮相互联网3.0生态发布大会

3月20日,互联网3.0生态发布大会在京举办。大会紧紧围绕北京市、朝阳区建设数字经济优势,聚焦政策、基金、园区、龙头企业、创新企业等产业生态要素,汇集了产业政策、产业基金、重大项目、标杆应用场景等七项重大成果。发布了《朝阳区互联网3.…

ChatGPT is not all you need,一文看尽SOTA生成式AI模型:6大公司9大类别21个模型全回顾(二)

文章目录 ChatGPT is not all you need,一文看尽SOTA生成式AI模型:6大公司9大类别21个模型全回顾(二)Image-to-Text 模型FlamingoVisualGPT Text-to-Video 模型PhenakiSoundify Text-to-Audio 模型AudioLMJukeboxWhisper ChatGPT …

强化学习与ChatGPT:快速让AI学会玩贪食蛇游戏!

大家好,我是千寻哥,现在自动驾驶很火热,其实自动驾驶是一个很大的概念,主要涉及的领域包括强化学习以及计算机视觉。 今天给各位讲讲强化学习的入门知识,并且手把手和大家一起做一个强化学习的Demo。 一、 浅谈强化学习入门 说到强化学习,你可能会有一些陌生,但是说到…

谷歌发布 Bard,对抗 ChatGPT

近日,谷歌宣布将推出对话 AI 服务 —— Bard,与时下流行的 ChatGPT 进行直接竞争。 《2022-2023 中国开发者大调查》重磅启动,欢迎扫描下方二维码,参与问卷调研,更有 iPad 等精美大礼等你拿!

我用半个小时做了一个Android ChatGPT虚拟女友

拥有一个听自己话的女友,是每个程序员的梦想。在我和她的世界里,她永远都是那么可爱乖巧,不会嫌弃我们这些码农,在累的时候,她会安慰我们,在不开心的时候,她会给我们讲故事,永远忠诚…

朗涛任命Juanita Zhang为中国大陆区总经理,Peggy Hon为中国香港区总经理

在迅速发展的消费环境中,带领才华横溢的多元创意团队,持续推动业务发展 (中国上海,2022年9月27日)近日,全球顶尖的品牌设计与咨询公司朗涛宣布重要人事任命,分别任命Juanita Zhang为中国大陆区总…

chatgpt研究框架 --技术路线-行业进程研究

ChatGPT市场反应热烈,国内外巨头纷纷入场 据统计,ChatGPT日活跃用户数的增速远超Instagram,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多;国内外科技巨头都非常重视ChatGPT引发的科技浪潮…

[转] 公务员80分申论万能模板(转给需要的人)

在公务员考试中,一般情况下,考生行政职业能力测验的分数差距一般不会大,但申论就不同了,两个人相差十几分甚至几十分是很正常的事,所以能否写好申论,是公务员考试的关键,下面搜集网上一些有关申…

使用 ChatGPT 构建金融系统流程图

ChatGPT 的受欢迎程度不断增长,现在被广泛用于各种应用程序。作为一名全栈工程师,出于对技术的追求,使用 ChatGPT 来探索一些可能的使用场合,之前介绍过使用 ChatGPT 协助编码 。本文就来探索 ChatGPT 设计一个金融系统并画出 Mer…

chatgpt赋能python:如何利用Python创建图表

如何利用Python创建图表 在数据分析和可视化方面,Python是一个非常强大的工具。它拥有许多流行的库和工具,使得数据可视化变得简单且快捷。其中之一是Matplotlib - 一个基于Python的可视化库。在本文中,我们将探讨如何使用Matplotlib库创建图…

我也想再上个学

关注我的同学应该知道,我不止在一次告诉大家读书是可以让大家能有更多的机会的,有时候自己也想什么时候再深造一下,等楠哥不那么需要我了,我也不用那么努力赚钱了,再去读读书,在学校里面打打篮球&#xff0…

还在死守TCP吗,来看看即将成为HTTP3.0标准协议的QUIC

文章目录 背景为什么需要QUIC为什么QUIC能撼动TCP的霸主地位QUIC 缺点展望未来参考 背景 一段时间以来被称为 HTTP-over-QUIC 的协议现在已经改变了名称,将正式成为 HTTP/3。这是由马克•诺丁汉(Mark Nottingham)最初的建议引发的 具体博客地址 为什么需要QUIC …

近期EI收录的国际会议汇总(AI/CV/深度学习等领域)

鉴于一些小伙伴正在为找不到投稿渠道而苦恼 本期小编为大家推荐三则国际会议信息 了解领域前沿,分享研究成果 启发科研思路,尽在学术会议 近期EI收录的国际会议汇总,相信总有一个适合你! 01 第二届图像、视觉与智能系统国际学术会…

一代「博雅」大师离世!缅怀复旦大学原校长、中国科学院院士杨福家教授

作者丨Joey 好困 来源丨新智元 【导读】2022年7月17日,著名核物理学家、复旦大学原校长、中科院院士杨福家在上海因病逝世,享年86岁。 据复旦大学消息,著名核物理学家、复旦大学原校长、中国科学院院士杨福家教授于7月17日在上海因病离世&…

诺丁汉为满足当地需求新建一个数据中心

日前,在英国诺丁汉新建的一个数据中心开通运营,该数据中心可以部署约2500台服务器。 据诺丁汉邮报报道,SpaceDataCenters公司表示在诺丁汉的贝斯福德投资建设了一个数据中心,这是因为当地缺乏高质量的数据中心,因此&am…

深度学习求解魔方新方法!诺丁汉大学研究团队提出适应度函数

作者 | 凌霄 责编 | 寇雪芹 头图 | 下载于视觉中国 人工智能和人类之间的“竞赛”一直都是热门的研究话题,AlphaGo 战胜了人类围棋玩家,AlphaZero 在围棋比赛中击败了AlphaGo 及其更高版本,并在国际象棋比赛中击败了顶级象棋引擎之一 Stockfi…

013英超:托特纳姆热刺 VS 诺丁汉森林icon胜平负:主胜

013英超:托特纳姆热刺 VS 诺丁汉森林icon 胜平负:主胜 分析:作为英超豪门之一的热刺相较于上个赛季,在本赛季发挥依旧很平稳,目前球队以14胜3平9负积45分排在联赛第4位,刚刚卡在下赛季欧冠icon资格区,多赛一…

导致计算机科学硕士和计算机科学理学硕士,诺丁汉大学计算机科学理学硕士研究生offer一枚...

原标题:诺丁汉大学计算机科学理学硕士研究生offer一枚 指南者留学学员背景 学生姓名:Q同学 本科学校:中国计量大学 本科专业:电子科学与技术 录取学校:诺丁汉大学 录取专业:计算机科学理学硕士 背景资料 大…