家好,我是微学AI,今天给大家带来一个生活照片转化漫画照片实战案例。让大家不要花钱去找人设计漫画照片了,这个是设计头像神器,很赶时髦。算法参考论文《CartoonRenderer:An Instance-based Multi-Style Cartoon Image Translator》。
文章目录
一、论文介绍
二、漫画图片生成原理
三、代码部分
四、生成效果
一、论文介绍
二、漫画图片生成原理
主要方法是构建一下生成模型框架,其中 xp 表示输入照片, xc 表示输入的卡通图像,图像通过Modeling网络层后,经过多个S-AdaIN层,输出 xp′ 和 xc′ ,其中 xp′和 xc′表示重建结果, y 表示漫画化的目标结果。
图像生成的过程就是利用对抗神经网络原理构建。本模型是利用CartonRenderer自动编码器,模型网络将输入图像映射到特征空间。与Adain 6和MUNIT 7中使用的传统编码器不同,我们的建模网络将输入图像映射到多尺度特征空间,是单个固定比例要素空间的。CartonRenderer的参数优化部分是由四个S-AdaIN块组成,对应于特征模型。每个S-AdaIN块用于对齐相应的刻度。其过程还是相对复杂的。
三、代码部分
快速开始:安装
pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
代码部分:
import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasksimg_cartoon = pipeline(Tasks.image_portrait_stylization,model='damo/cv_unet_person-image-cartoon_compound-models',device='cpu')
# 图像本地路径
img_path = 'input.png'result = img_cartoon(img_path)
cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
print('完成!')
四、生成效果
以下是风景图的漫画风格生成效果:
以下是人物的漫画风格生成效果:效果还是挺好的
图像生成代码后续更新,敬请期待!!
大家要学习深度学习图像处理、识别方向,需要熟悉以下模型:VGG-16、ResNet-50 、 Xception、Inception-v4、Inception-ResNet-V2、ResNeXt-50 、RegNet、ConvNeX,这些模型都是近几年流行的图像分类识别模型。
往期作品:
深度学习实战项目
1.深度学习实战1-(keras框架)企业数据分析与预测
2.深度学习实战2-(keras框架)企业信用评级与预测
3.深度学习实战3-文本卷积神经网络(TextCNN)新闻文本分类
4.深度学习实战4-卷积神经网络(DenseNet)数学图形识别+题目模式识别
5.深度学习实战5-卷积神经网络(CNN)中文OCR识别项目
6.深度学习实战6-卷积神经网络(Pytorch)+聚类分析实现空气质量与天气预测
7.深度学习实战7-电商产品评论的情感分析
8.深度学习实战8-生活照片转化漫画照片应用
9.深度学习实战9-文本生成图像-本地电脑实现text2img
10.深度学习实战10-数学公式识别-将图片转换为Latex(img2Latex)
11.深度学习实战11(进阶版)-BERT模型的微调应用-文本分类案例
12.深度学习实战12(进阶版)-利用Dewarp实现文本扭曲矫正
13.深度学习实战13(进阶版)-文本纠错功能,经常写错别字的小伙伴的福星
14.深度学习实战14(进阶版)-手写文字OCR识别,手写笔记也可以识别了
15.深度学习实战15(进阶版)-让机器进行阅读理解+你可以变成出题者提问
16.深度学习实战16(进阶版)-虚拟截图识别文字-可以做纸质合同和表格识别
17.深度学习实战17(进阶版)-智能辅助编辑平台系统的搭建与开发案例
18.深度学习实战18(进阶版)-NLP的15项任务大融合系统,可实现市面上你能想到的NLP任务
19.深度学习实战19(进阶版)-ChatGPT的本地实现部署测试,自己的平台就可以实现ChatGPT
...(待更新)