ChatGPT背景:
ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入,产生相应的智能回答。这个回答可以是简短的词语,也可以是长篇大论。其中GPT是Generative Pre-trained Transformer(生成型预训练变换模型)的缩写。
通过学习大量现成文本和对话集合(例如Wiki),ChatGPT能够像人类那样即时对话,流畅的回答各种问题。(当然回答速度比人还是慢一些)无论是英文还是其他语言(例如中文、韩语等),从回答历史问题,到写故事,甚至是撰写商业计划书和行业分析,“几乎”无所不能。甚至有程序员贴出了ChatGPT进行程序修改的对话。
ChatGPT也可以与其他AIGC模型联合使用,获得更加炫酷实用的功能。例如上面通过对话生成客厅设计图。这极大加强了AI应用与客户对话的能力,使我们看到了AI大规模落地的曙光。
ChatGPT特点
ChatGPT 是基于GPT-3.5(Generative Pre-trained Transformer 3.5)架构开发的对话AI模型,是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演练,或用于收集大量对话数据。
当然它还包括如下特征:
1)可以主动承认自身错误。若用户指出其错误,模型会听取意见并优化答案。2)ChatGPT 可以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时,机器人会说明哥伦布不属于这一时代并调整输出结果。3)ChatGPT 可以承认自身的无知,承认对专业技术的不了解。4)支持连续多轮对话。
ChatGPT实现原理
1.数据集ChatGPT的实现基于大规模的自然语言语料库,如维基百科、互联网论坛、新闻报道等。OpenAI通过使用Web爬虫和API获取了这些数据集,并对它们进行了预处理。这些数据集被用来训练ChatGPT的神经网络,以便生成自然语言文本。2.模型架构ChatGPT使用的是Transformer架构,它是一种基于注意力机制的神经网络模型。这种模型的优点在于,它可以并行化处理文本序列,并且能够捕捉序列中单词之间的长距离依赖关系。Transformer模型的架构分为编码器和解码器两部分。在ChatGPT中,只有一个解码器,没有编码器。这是因为ChatGPT主要用于生成文本,而不是处理输入文本。3.训练模型在ChatGPT中,模型的训练是通过无监督的方式进行的。在训练过程中,模型的目标是最大化给定一段文本序列的概率。具体来说,模型的目标是预测下一个单词在给定上下文中出现的概率。为了训练模型,OpenAI使用了一种称为“掩码语言建模”的技术。在掩码语言建模中,模型会随机将文本序列中的一些单词替换为特殊的掩码符号,然后根据上下文预测被掩码的单词。通过这种方式,模型可以学习到单词之间的关系,并生成自然语言文本。4.生成文本当ChatGPT训练完成后,就可以用于生成自然语言文本。生成文本的过程是通过向模型提供一些初始文本,然后模型会根据初始文本生成后续的文本。生成文本的过程使用的是基于采样的方法,即从模型预测的概率分布中随机采样。5.Fine-tuning除了在大规模的语料库上进行训练之外,ChatGPT还可以通过fine-tuning来适应特定的任务。在fine-tuning中,模型会通过使用特定的数据集进行有监督的训练。这样,模型就可以生成与特定任务相关的自然语言文本。比如,可以使用fine-tuning训练一个对话生成模型,使其能够生成与特定话题相关的对话。6.多头注意力机制Transformer模型中的多头注意力机制是ChatGPT实现原理的重要组成部分之一。这种机制可以让模型同时关注不同的位置,从而提高模型的性能。具体来说,多头注意力机制将输入分成多个子空间,每个子空间都有自己的注意力机制,从而可以并行计算。这样,模型可以关注不同子空间中的不同特征,从而提高模型的性能。7.对抗训练除了使用无监督的训练方式外,ChatGPT还使用了对抗训练技术来提高模型的鲁棒性。在对抗训练中,模型会与一个敌对模型进行对抗。敌对模型会生成一些文本序列,这些文本序列是有意识地设计成能够欺骗ChatGPT模型的。然后,ChatGPT会学习如何识别这些欺骗性的文本序列,并生成更为准确的文本。
ChatGPT使用感受:
近期我使用了ChatGPT后,发现这个所谓的人工智能其实是基于数据集的大数据运算而已,很简单例子,为什么它能够名声大振,一方面是因为代码,而许多已经常见的漏洞复现原理及代码在互联网上已经大批存在,因此当我们输入:生成log4j的漏洞执行脚本时,它会基于运算找到相关数据集,在后续训练中就会基于该数据集去拓展。
毋庸置疑的是它依然是人类发展的一大步,至少它带动了全球人工智能的发展。
但他依然存在一些问题,例如你想让他去生成一个视频脚本或文案时,你需要将细节描述的特别清晰,不然它所生成的内容依旧是大众化俗套的。我不知道是不是因为语言的问题,但很明显,对于文字的创新性,它几乎为0的,可以很直观的看到 它所产生的文案几乎都是“烂大街的故事”
此处我已经提出了10余条细节点了,但依旧无法生成一个过得去的故事,包括故事的类型、故事的情节、故事需要具有曲折、故事贴近20-40岁人群、更贴近于生活、放大故事的细节等