本文来源 新智元 编辑:LRS
【新智元导读】语言模型幻觉从bug变feature!
ChatGPT最为人诟病的缺陷就是「胡编乱造」了,可以一本正经地讲一段林黛玉倒拔垂杨柳的故事。
对于真正想了解「林黛玉」或「倒拔垂杨柳」的人来说,这段回答可以说是灾难级误导了,但对于专注于「虚构」和「创意」的从业者来说,天马行空幻觉反而可以激发创造力。
最近DivergentAI开源了DreamGPT,也是首个尝试利用大型语言模型幻觉(hallucinations)的方法,可以帮助用户发散性地思考,生成一些创新的想法。
代码链接:https://github.com/DivergentAI/dreamGPT
灵感生成器
DreamGPT的原理很简单:首先,程序从一组预定义的概念中随机选择,每个概念为单个单词,如金属、帽子、歌曲等。
然后通过给这些概念一个标题和一个描述,从这些概念中生成一组想法;程序中目前存储了750多个概念,未来可以进一步扩展或由用户指定。
然后,程序会根据「新颖性」或「有用性」等因素对生成的创意进行评估,将概念混合在一起,可以适用于开发全新的商业模式或游戏概念等。
具体实现
DreamGPT的实现方法主要基于一个精心设计的提示,底层基于GPT-3.5扮演创意专家、创意总监和创意生成器的角色,具有研究方法和设计思维的知识,以及强大的分析技能和众多行业、趋势和技术的知识。
从dreamgpt/engine/prompts/combinePrompts可以看到DreamGPT编写的一组prompt
首先从下面两组基础prompt中随机选择一个。
I want you to act as an Ideation Expert. An Ideation Expert has strong creative, problem-solving and analytical skills, with knowledge of research methods and design thinking. They should be adept at identifying opportunities and generating ideas, as well as have the ability to communicate and collaborate with others. Additionally, they must have an understanding of the latest trends and technology in their industry.
我希望你能扮演一名创意专家,具有很强的创造力、解决问题的能力和分析能力,并具有研究方法和设计思维的知识,应该善于识别机会和产生想法,并具有与他人沟通和合作的能力。此外必须了解本行业的最新趋势和技术。
I want you to act as an Idea Generator. An Idea Generator has an innovative mindset and a creative spirit, which they use to develop unique concepts and solutions. They should have extensive knowledge of various industries, trends, and technologies. Additionally, they should possess strong research skills and the ability to think critically and objectively. Communication and collaboration skills are also essential to work effectively with other stakeholders.
我希望你能扮演一个创意生成器,具有创新思维和创造精神,用这种精神来开发独特的概念和解决方案;应该对各种行业、趋势和技术有广泛的了解。此外应该拥有强大的研究技能,以及批判性和客观的思考能力,沟通和协作技能也是与其他利益相关者有效合作的必要条件。
然后定义了一组评价标准及输出格式。
Given the following JSON, create a novel concept which takes both ideas and combines a single, coherent and useful idea. The resulting JSON will return a single JSON object with the following fields: title, description, noveltyScore, marketScore, usefulnessScore, easeOfImplementationScore, impactScore.
给出下面的JSON,创建一个新的概念,将两个想法结合起来,形成一个单一的、连贯的、有用的想法。由此产生的JSON将返回一个具有以下字段的单一JSON对象:标题、描述、新颖性评分、市场评分、有用性评分、易实施性评分、影响力评分。
并对五项评分指标做进一步解释。
noveltyScore: measures how unique and distinct this concept is from anything else seen before.
新颖性评分:衡量这个概念与以前所见的任何其他概念有多独特和不同。
marketScore: measures the potential market ($$$) for this concept.
市场评分:衡量这个概念的潜在市场($$)
usefulnessScore: measures the potential benefit of use of this concept.
有用性评分:衡量使用这个概念的潜在好处。
easeOfImplementationScore: measures how easy it would be to make this concept a reality.
易实施性评分:衡量使这一概念成为现实有多容易。
impactScore: measures the potential positive impact in the world of this concept.
影响力评分:衡量这个概念对世界的潜在积极影响。
在prompt中提供了多个JSON样例用于上下文学习。
{"title": "Smart Wardrobe","description": "A device that combines a smart home garden and a virtual personal stylist. The device will be able to recommend clothing and accessories based on a person's preferences, body type, and occasion. It will also be able to grow plants indoors using hydroponics and AI, which can be used to make natural dyes or fabrics. The device will connect to a smartphone app where users can monitor and control the device.","noveltyScore": 0.8,"marketScore": 0.3,"usefulnessScore": 0.2,"easeOfImplementationScore": 0.2,"impactScore": 0.2
}
描述:一个结合了智能家居花园和虚拟个人造型师的设备,能够根据一个人的喜好、体型和场合推荐服装和配件,还将能够利用水培和人工智能在室内种植植物用来制作天然染料或织物。该设备可以连接到一个智能手机应用程序,用户可以监测和控制该设备。
Do the same with the following pair. Create a novel concept which takes both ideas and combines a single, coherent and useful idea. Return only one JSON object (like before).
对下面的数据对重复操作,创造一个新的概念,将这两个想法结合起来,形成一个单一的、连贯的、有用的想法。和前面一样,只返回一个JSON对象。
[{'title': ..., 'description': ...},{'title': ..., 'description': ...},
]
根据返回结果,系统可以获取最具创造性的输出并对其进行迭代。
在运行后,DreamGPT会生成一个随机的概念种子,并将这些作为想象过程的起点,可以看到第一次运行后的输出,创造力得分较低,但在之后的运行中会有所增加,随着DreamGPT运行时间的增加,幻觉就会变得更强烈。
参考资料:
https://the-decoder.com/dreamgpt-turns-a-weakness-of-large-language-models-into-a-strength/
关注公众号【机器学习与AI生成创作】,更多精彩等你来读:
深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读
深入浅出ControlNet,一种可控生成的AIGC绘画生成算法!
经典GAN不得不读:StyleGAN
戳我,查看GAN的系列专辑~!
一顿午饭外卖,成为CV视觉的前沿弄潮儿!
最新最全100篇汇总!生成扩散模型Diffusion Models
ECCV2022 | 生成对抗网络GAN部分论文汇总
CVPR 2022 | 25+方向、最新50篇GAN论文
ICCV 2021 | 35个主题GAN论文汇总
超110篇!CVPR 2021最全GAN论文梳理
超100篇!CVPR 2020最全GAN论文梳理
拆解组新的GAN:解耦表征MixNMatch
StarGAN第2版:多域多样性图像生成
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》
《零样本图像分类综述: 十年进展》
《基于深度神经网络的少样本学习综述》
《礼记·学记》有云:独学而无友,则孤陋而寡闻
点击 一顿午饭外卖,成为CV视觉的前沿弄潮儿!,领取优惠券,加入 AI生成创作与计算机视觉 知识星球!