10月11日凌晨,设计软件巨头Adobe宣布推出一系列图像生成模型,其中Firefly Image 2作为新一代图像生成器,通过改善皮肤、头发、眼睛、手和身体结构增强了人体渲染质量,提供更好的色彩和改进的动态范围,并为用户提供更大的控制输出的能力 。
此前,OpenAI于9月21日宣布旗下图像生成工具DALL-E的升级,新版本DALL-E 3大幅提升图像生成质量,尤其改进了在图像上生成文字的功能。
在国外图像生成赛道,Midjourney和DALL-E常被视为两大竞争对手。Adobe Firefly 2的发布,意味着又一强大竞争对手加入,形成三强对阵的格局。
虽然Adobe在今年3月便推出了Firefly模型的测试版,但当时一些图像分析师批评Firefly在生成效果方面落后于Midjourney和DALL-E 2等竞争对手,他们将这一差距部分归因于Adobe承诺仅使用授权和公共领域内容进行培训。
下面是一组Adobe Firefly、Midjourney与DALL-E 2生成图像对比,提示词为:山谷,童话般的树屋村庄覆盖,哑光绘画,高度精细,动态照明,电影,现实主义,逼真,照片真实,日落,详细,高对比度,去噪,居中。
▲Adobe Firefly、Midjourney与DALL-E 2生成图像对比(图源:Muhammad Usman,mdorazio)
从上图的对比可以看出,Midjourney生成的图像内容最丰富,有很多细节描绘;DALL-E 2的生成更类似于油画风格,虽然不够逼真,但表现尚可。
相比之下,Firefly的生成效果则不尽人意,既没有符合大多数提示词,整体质量也较差,甚至在物体轮廓上出现杂色。
此次更新,Firefly 2大幅提升了生成图像质量和准确性,尤其是人像渲染方面。
▲Firefly 2与Firefly 1生成图像对比(图源:Adobe)
那么,目前的Firefly 2在其他方面具体表现如何?它能否与DALL-E 3和Midjourney竞争,帮助Adobe在生成式AI领域占据一席之地?这三款图像生成器各自具有什么样的特点和优势?近日,外媒Gold Penguin从8个方面的生成图像效果对比中,也许找到了这些问题的答案。
总体来看,三款图像生成器各具风格,也各具优势。如DALL-E 3拥有优秀的文字生成功能,更适合高语境提示;Adobe Firefly 2生成效果最逼真,在人像细节等写实表现上最具优势;Midjourney则时常迸发出一些“艺术性”的创作,可提供创作灵感。
下表总结了这三款图像生成器在可用性、输出效果、运行速度等方面的特点,供读者参考。简单来说:Firefly 2更逼真,Midjourney更艺术,DALL-E 3善解人意。
▲三款AI图像生成器性能对比(图源:Gold Penguin,智东西译制)
一、三路选手PK,行业巨头对决两家AI独角兽
今天,我们让三位选手来进行一场大PK。
首先是一号选手Adobe Firefly Image 2,它是Adobe于10月11日凌晨推出的新一代图像生成模型。
Adobe公司在图像处理领域的地位可谓是不言而喻。背靠Adobe,Firefly系列一经推出便获得了巨大的关注。
据介绍,Firefly 2通过改善图像中人体皮肤、头发、眼睛、手和其它身体结构,来增强图像的渲染质量,为用户生成更高质量图像。
Firefly 2模型有三大新功能:生成匹配(Generative Match)、照片设置(Photo Settings)、提示指导(Prompt Guidance)。
它支持100多种语言的文本提示,以及包括“快速”生成积分在内的新付费计划。
▲Firefly 2的生成匹配功能(图源:Adobe)
二号选手DALL-E 3来头也不一般。
DALL-E 3是OpenAI于9月21日凌晨推出的升级版文生图工具,与之前的版本相比,它的提示理解能力更强,对文本的处理效果也更好。
OpenAI作为现象级应用ChatGPT的开发商,可谓是刮起了一阵AIGC热潮。
升级后的DALL-E 3原生集成至ChatGPT,对两款产品而言都是“如虎添翼”。10月3日,微软宣布DALL-E 3可供所有Bing Chat和Bing Image Creator用户免费使用,再次降低了它的使用门槛。
值得一提的是,DALL-E 3在此次升级中增强了“在图像上生成文字”的功能,此功能目前在Firefly 2和Midjourney中暂未实现。
▲DALL·E 3可在图像上生成准确的文字(图源:OpenAI)
三号选手Midjourney与前两位相比,背后的公司可能没有太大的名头,但它凭借着强大的图像生成质量,一度成为图像生成领域的现象级应用,一年实现1000万用户和1亿美元营收。
Midjourney公司成立于2021年8月,创始人大卫·霍尔茨(David Holz)曾是体感控制器公司Leap Motion的联合创始人。Midjourney以详细的输出、通过提示工程参数进行的广泛定制和细微差别而著称,其最新5.2版本于6月23日推出。
Midjourney 5.2版本的最大亮点在于放大(Zoom Out)功能,允许用户将放大图像的画布扩展到其原始边界之外,而不更改原始图像的内容。新扩展的画布将根据提示和原始图像的指导进行填充。
▲Midjourney的放大功能(图源:Midjourney)
9月,Midjourney首席执行官曾向媒体透露,Midjourney 6会在今年内发布,将实现品质上的巨大飞跃。
二、Adobe Firefly 2、Midjourney、DALL-E 3生成图像大比拼
接下来,让我们从8个方面对比一下Adobe Firefly 2、Midjourney和DALL-E 3生成图像的效果,分别是写实人像、建筑设计、风景、超现实主义、抽象概念、风格化艺术、矢量平面设计以及文字生成。
1、写实人像
首先是Adobe Firefly 2“大肆宣扬”的人像,下面两组图的提示词分别为:一个疲惫大学生的特写;一位身着黄色衬衫女士的肖像照。
▲写实人像(图源:Gold Penguin)
▲写实人像(图源:X博主@saana_ai)
可以看出,Adobe Firefly 2生成的人像确实非常逼真,面部表情清晰,具有明显的皮肤、毛发质感,光照效果也很好。
Midjourney的输出也相当不错,但与Firefly 2相比更柔和,皮肤质感略逊一筹。对于第一组提示词,Midjourney生成的图像中桌面上的书本存在渲染失误,不过并不明显。
对比之下,DALL-E 3生成的人像有些逊色,几乎不存在皮肤和毛发质感。对于第一组提示词,DALL-E 3过分强调了学生的疲惫,“黑眼圈”有些夸张。
值得一提的是,这些图像都没有产生“恐怖谷”效应,这是一个很大的优点。
2、建筑设计
再来看看建筑设计,第一组图的提示词为:从广角俯瞰,带下沉式客厅的时尚砖墙曼哈顿风格阁楼。
▲建筑设计(图源:Gold Penguin)
对于第一组提示词,这三个图像生成器都没有完全理解提示意图。它们都创造了一个曼哈顿风格的阁楼,但很难将下沉式客厅的部分表现出来。
Adobe Firefly 2的照明效果最好,强调了阴影与光线来源的对应关系,并将它们完美地融合在一起。
Midjourney最大的优点是注重细节。从一楼的书籍到二楼的画作,都符合典型阁楼式公寓的设计。
DALL-E 3的灯光则显得有些夸张,质感也比较柔和。不过,它是唯一表现了“下沉式客厅”这一提示词的生成器,虽然表现方式有些失误。
第二组图的提示词为:卧室,大窗户,现代家具,灰色和金色,豪华,中世纪现代风格。
▲建筑设计(图源:X博主@chaseleantj)
对于第二组提示词,三个图像生成器都表现得很好。不过相比之下,DALL-E 3生成的图像对“豪华”和“金色”提示词的表现比其他两个生成器少。
3、风景
在风景景观方面,第一组提示词为简短的词组:野花草地日落景观。
▲风景(图源:Gold Penguin)
对于第一组提示词,Adobe Firefly 2的输出效果栩栩如生,但与网络上的草地图片过于相似。此外,野花的渲染似乎出现了故障,细看会发现没有一朵花是正常渲染的。
Midjourney的草地色彩非常鲜艳,但倾向于风格化,比起写实照片更像是一幅画。
DALL-E 3更加强调“日落”这个提示词,整体色彩呈橘色色调,给人一种雄伟壮观的感觉。虽然它不是色彩最丰富的,但质感细腻。
第二组提示词比较详细:无人机航拍波拉波罗岛令人惊叹的陆地景观,阳光下波光粼粼的水面。
▲风景(图源:X博主@chaseleantj)
对于第二组提示词,Firefly 2和Midjourney生成图像相似,有种宏大的史诗感,不过后者的树木渲染更具细节。
DALL-E 3的水面渲染则显得有些粗糙,强调了“阳光”,但却没有表现出强烈光照下的阴影投射,因此显得很扁平。
4、超现实主义
看完了现实,再来看看超现实主义。下图的提示词为:一幅超现实主义油画,牛仔布做的房子中有一只大萤火虫。
▲超现实主义(图源:Gold Penguin)
对于第一组提示词,三个生成器采取了完全不同的处理方式。
Adobe Firefly 2的作品大量借鉴了儿童读物,风格很像儿童绘本。
Midjourney结合了现实世界的图像和奇幻的概念。与其他两张图像不同,它将视角放在了房间内部,也因此对“牛仔布”的表现并不明显。此外,Midjourney似乎连萤火虫都渲染成了牛仔布质感。这可能有些偏离提示词的描述,但测试者表示很喜欢这个处理。
DALL-E 3的处理方式则更具艺术性,它模糊了房子的界限,创造了一种新的叙事方式。它还“创作”了一些细节,比如两个月亮和口袋窗户。
再试试更抽象的提示词:震惊、美丽的外星人,科幻、未来,浅茶色和琥珀色。
▲超现实主义(图源:X博主@saana_ai)
对于第二组提示词,三个生成器的处理方式也是各具风格。
Adobe Firefly 2仍然采用了类似于插画的风格,Midjourney和DALL-E 3则更偏向于“写实”。但DALL-E 3忽略了“琥珀色”这个提示词,并且生成的图像比起“外星人”,似乎更接近“机器人”。
5、抽象概念
如果说超现实主义还提供了一些细节上的表述,接下来我们再试试完全抽象的概念。下图的提示词为:无限的可视化。
▲抽象概念(图源:Gold Penguin)
“无限”是无法被创造出来的,但三幅作品进行了不同的尝试来表现这个概念。
Adobe Firefly 2和DALL-E 3都选取了螺旋化的表达方式,Firefly 2类似于斐波那契数列的可视化,DALL-E 3生成的图像则更加迷幻,具有丰富的色彩,看起来就像一件复杂的扎染衬衫。
Midjourney生成的图像则具有故事性,一个人类的背影向光芒走去,四周围绕着像藤蔓或树枝一样的东西。
6、风格化艺术
在一些风格化艺术的理解上,三位选手也表现各异。第一组图的提示词为:达达主义(Dadaism)风格插图,妇女为争取平等而斗争。
▲风格化艺术(图源:Gold Penguin)
达达主义诞生于20世纪初,具体可以追溯到第一次世界大战期间。达达艺术以非传统材料、拼贴、组合和表演为特征,旨在挑衅和震撼观众,达到质疑艺术和社会的意义和目的。
Adobe Firefly 2的输出看起来不像任何达达艺术,且多次调整提示词后,得到的结果总是相似。
Midjourney和DALL-E 3则理解了背景,它们的作品完全模仿了达达主义。
Midjourney倾向于拼贴艺术,与著名的俄国艺术家汉娜·霍克(Hannah Höch)风格相似;DALL-E 3更偏向于模仿法国艺术家马塞尔·杜尚(Marcel Duchamp)。这两位艺术家都是达达主义运动时期的杰出代表。
再来看看像素风格艺术,采用的提示词为:白色背景上的Q版像素艺术,RPG游戏的游戏资产,以挥舞火之力量的龙巫师盔甲为特色,周围环绕着配套的物品组。
▲风格化艺术(图源:X博主@chaseleantj)
对于像素风格艺术,DALL-E 3的表现非常突出。它覆盖了几乎所有提示词,同时生成了Q版人物(Chibi characters)、像素艺术和物品套装。
Firefly 2成功地完成了像素艺术,但忽略了“白色背景”和“物品组”的提示词。
Midjourney的作品甚至没有像素化。
7、矢量平面设计
接下来是办公领域比较实用的矢量平面设计。首先我们让AI助手来画一下AI助手,提示词:一个AI助手的平面矢量插图。
▲矢量平面设计(图源:Gold Penguin)
Adobe Firefly 2又一次理解失误。输出本身仍然是矢量艺术,但没有表现“AI助手”这个关键词。
Midjourney和DALL-E 3的输出则更像传统的矢量艺术。前者着重表现AI助手帮助人类工作这一场景,后者则将重点放在“AI助手”本身。
值得注意的是,DALL-E 3甚至在没有提示的情况下自行添加了文字,且具有逻辑性。
再试一下更具象的提示词:白色背景上简单的平面矢量插画,一位女性和一只小狗坐在办公桌前,拿着笔记本电脑。
▲矢量平面设计(图源:X博主@chaseleantj)
第二组提示词三位选手整体都表现不错。
但细看之下,Firefly 2和Midjourney都有些细节上的缺陷。Firefly 2生成图像中,女人的左手似乎“消失”了;Midjourney生成图像中,小狗的耳朵太过尖锐,看起来更像一只猫。
DALL-E 3的表现风格则更加扁平化,色块干净,很适合用在演示文稿和宣传材料中。
8、文字生成
最后是DALL-E 3引以为傲的文字生成功能,提示词:白色背景上的定制贴纸设计,采用优雅的字体书写“Rachel”字样,并点缀以水彩蝴蝶、雏菊和柔和的粉彩色调。
▲文字生成(图源:X博主@chaseleantj)
在文字生成方面,DALL-E 3取得了压倒性的胜利。Firefly 2和Midjourney均无法生成准确的文字,不过相比之下,Firefly 2比Midjourney稍微接近正确答案一些。
Firefly 2和DALL-E 3对“贴纸”的表现更明显,均采取了白色描边的方式来表现。水彩风格上,Firefly 2表现最佳。
值得注意的是,Firefly 2似乎总是在忽略“白色背景”这一提示词,“执着地”以浅绿色的背景来代替。
结语:行业巨头加入战场,AI图像生成器混战开始
生成式AI正在重塑艺术创作领域,通过图像生成器,任何人都可以通过编写文本提示打开艺术创作的新世界,从事创造性工作的人们也可以节省大量时间、激发想象力的更多可能性。
作为老牌的创意软件巨头,Adobe通过一系列更新再次强化了其在图像编辑领域的深厚积累,Firefly 2的表现比升级前大幅提升,可以与Midjourney、DALL-E 3打得有来有回。
与此同时,国内的百度文心一言、讯飞星火认知大模型等都上线了图像生成能力,并面向全社会开放;国内知名的图像软件公司美图也在积极布局生成式AI,于10月9日发布自研视觉大模型3.0,增强了图像生成质量以及提示词智能联想功能。
良性的竞争可以为用户提供更多选择,促使产品不断迭代进化。也许,一年后我们回过头来看,会发觉如今的图像生成效果是多么“稚嫩”。