从语言模型到ChatGPT:大型语言模型的发展和应用

前言

为获取最佳阅读格式体验,建议访问个人博客:从语言模型到ChatGPT:大型语言模型的发展和应用 | JMX Blog

大型语言模型(LLM)是指能够处理大量自然语言数据的深度学习模型,它已经在自然语言处理、文本生成、机器翻译等多个领域中展现出了巨大的潜力。在过去几年中,LLM领域经历了飞速的发展,其中Google和OpenAI作为两家领先的公司在这个领域中的表现备受关注。

Google是LLM领域的重要参与者,其BERT自编码模型和T5编码解码器在自然语言理解任务上取得了优异的表现。BERT模型通过预训练大规模文本数据,提取出词向量的同时,也能够学习到上下文信息。而T5模型则是在BERT的基础上,进一步将生成式任务融入其中,实现了一体化的自然语言处理能力。这些模型的出现,极大地推动了LLM领域的发展。

与之相反的是,OpenAI则从2018年开始,坚持使用decoder only的GPT模型,践行着「暴力美学」——以大模型的路径,实现AGI。GPT模型通过预训练海量语料库数据,学习到了自然语言中的规律和模式,并在生成式任务中取得了出色的表现。OpenAI坚信,在模型规模达到足够大的情况下,单纯的decoder模型就可以实现AGI的目标。

除了Google和OpenAI外,还有许多其他公司和研究机构也在LLM领域做出了贡献。例如,Facebook的RoBERTa模型、Microsoft的Turing NLG模型等等。这些模型的不断涌现,为LLM领域的发展注入了新的动力。

如果只用解码器的生成式是通用LLM的王道,2019年10月,Google同时押注编码解码器的T5,整整错失20个月,直到2021年10月发布FLAN才开始重新转变为decoder-only。这表明,在实际应用中,不同任务可能需要不同类型的模型,而在特定任务中,编码解码器的结构可能比decoder-only模型更加适合。

在本文中,我们将基于CS224N课件回顾大型语言模型的发展历程,探讨它们是如何从最初的基础模型发展到今天的高级模型的,并介绍ChatGPT的发展历程,看看ChatGPT如何实现弯道超车。

gnqCNR

Zero-Shot (ZS) and Few-Shot (FS) In-Context Learning

上下文学习(In-Context Learning)

近年来,语言模型越来越倾向于使用更大的模型和更多的数据,如下图所示,模型参数数量和训练数据量呈指数倍增加的趋势。

7EgTef

模型名称说明备注
GPTTransformer decoder with 12 layers[参数量117M]
Trained on BooksCorpus: over 7000 unique books (4.6GB text).
表明大规模语言建模可以成为自然语言推理等下游任务的有效预训练技术。
GPT2Same architecture as GPT, just bigger (117M -> 1.5B)
trained on much more data: 4GB -> 40GB of internet text data (WebText)
涌现出优异的Zero-shot能力。
GPT3Another increase in size (1.5B -> 175B)
data (40GB -> over 600GB)
涌现出强大的上下文学习能力,但是在复杂、多步推理任务表现较差。

近年来,随着GPT模型参数量的增加,GPT2与GPT3模型已经表现出了极佳的上下文学习能力(In-Context Learning)。这种能力允许模型通过处理上下文信息来更好地理解和处理自然语言数据。GPT模型通过Zero-Shot、One-Shot和Few-Shot学习方法在许多自然语言处理任务中取得了显著的成果。

其中,Zero-Shot学习是指模型在没有针对特定任务进行训练的情况下,可以通过给定的输入和输出规范来生成符合规范的输出结果。这种方法可以在没有充足样本的情况下,快速生成需要的输出结果。One-Shot和Few-Shot学习则是在样本量较少的情况下,模型可以通过学习一小部分示例来完成相应任务,这使得模型能够更好地应对小样本学习和零样本学习的问题。

上下文学习介绍

链接:[2301.00234] A Survey on In-context Learning

mjQ3eG

大模型有一个很重要的涌现能力(Emergent ability)就是In-Context Learning(ICL),也是一种新的范式,指在不进行参数更新的情况下,只在输入中加入几个示例就能让模型进行学习。下面给出ICL的公式定义:

C = I , s ( x 1 , y 1 ) , . . . , s ( x k , y k ) o r C = s ( x 1 , y 1 , I ) , . . . , s ( x k , y k , I ) C = {I,s(x_1,y_1),...,s(x_k,y_k)} \quad or \quad C = {s(x_1, y_1, I), . . . , s(x_k, y_k, I)} C=I,s(x1,y1),...,s(xk,yk)orC=s(x1,y1,I),...,s(xk,yk,I)

P ( y j ∣ x ) ≜ f M ( y j , C , x ) P\left(y_j \mid x\right) \triangleq f_{\mathcal{M}}\left(y_j, C, x\right) P(yjx)fM(yj,C,x)

y ^ = arg ⁡ max ⁡ y j ∈ Y P ( y j ∣ x ) . \hat{y}=\arg \max _{y_j \in Y} P\left(y_j \mid x\right) . y^=argyjYmaxP(yjx).

其中,符号含义如下,从这些符号中也能看出影响ICL的因素:

  • I:具体任务的描述信息

  • x:输入文本

  • y:标签

  • M:语言模型

  • C:阐述示例

  • f:打分函数

下面将开始介绍如何提升模型的ICL能力。

训练优化ICL能力

有监督训练:

在ICL格式的数据集上,进行有监督的训练。

MetaICL就直接把很多任务整合成了ICL的形式精调模型,在52个数据集上取得了比肩直接精调的效果。另外还有部分研究专注于Instruction tuning,构建更好的任务描述让模型去理解,而不是只给几个例子(demonstration),比如LaMDA-PT、FLAN。

自监督训练:

将自然语言理解的任务转为ICL的数据格式。

FUs3TC

图1代表不同自然语言理解任务转为ICL的输入输出形式。

图2表示训练样本示例,包含几个训练样本,前面的样本作为后面样本的任务阐述。

推理优化ICL能力

Prompt设计

样本选取:文本表示、互信息选择相近的;Perplexity选取;语言模型生成……

样本排序:距离度量;信息熵……

任务指示:APE语言模型自动生成

推理步骤:COT、多步骤ICL、Self-Ask

打分函数
  • Direct:直接取条件概率P(y|x),缺点在于y必须紧跟在输入的后面

  • Perplexity:再用语言模型过一遍句子,这种方法可以解决上述固定模式的问题,但计算量增加了

  • Channel:评估P(x|y)的条件概率(用贝叶斯推一下),这种方法在不平衡数据下表现较好

影响ICL表现的因素
  • 预训练语料的多样性比数量更重要,增加多种来源的数据可能会提升ICL表现

  • 用下游任务的数据预训练不一定能提升ICL表现,并且PPL更低的模型也不一定表现更好

  • 当LM到达一定规模的预训练步数、尺寸后,会涌现出ICL能力,且ICL效果跟参数量正相关

WHY:上下文学习生效的原因

论文链接:[Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?]([2202.12837] Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?)

关键结论:

  1. InContext Learning中标签是否正确无明显影响

  2. InContext Learning中影响因素包括规范的输入空间、标签空间、输入与标签的匹配格式

其他论文的猜测:

  • 跟训练数据的分布相关:比如训练数据有很多样例,也有学者认为ICL可能是隐式的Bayesian inference

  • 跟学习机制相关:有学者猜测LM可能自己就具备学习的能力,在做ICL的时候学到了这些知识,或者隐式直接精调了自己

  • 跟Transformer中的模块相关:有学者发现Transformer里的某些注意力头会通过拷贝固定的模式来预测下一个token

InContext Learning中标签是否正确无明显影响

iLPKIE

图中青绿色代表没有示例、黄色代表带有正确标签的示例、橙色代表带有随机标签的示例。

实验结果表明,带有随机标签的效果非常接近于带有正确标签的效果

此外,作者还进行了标签正确比例、提示样本数量、提示模版样式的实验,均得出一致结论,实验图如下。

P6Rbs3

9NL9Oq

y8mMa2

InContext Learning中影响因素包括规范的输入空间、标签空间、输入与标签的匹配格式

作者分别从以下四个维度探究In-Context Learning效果增益的影响

  1. The input-label mapping:即每个输入xi是否与正确的标签yi配对;

  2. The distribution of the input text:即x1…xk的分布是否一致;

  3. The label spacey1…yk所覆盖的标签空间;

  4. The format:使用输入标签配对作为格式。

V5XRzx

输入文本分布实验

VZ5X1F

紫色柱子代表利用外部语料采样的数据加上随机标签,在几个任务上模型表现明显下降。

因此,in-context learning中,演示中的分布内输入极大地有助于提高性能。这可能是因为已IND(in-distribution)文本的条件使任务更接近于语言建模,因为LM在此期间总是以IND文本为条件进行推理标签。

标签分布实验

QuaT1J

绿色柱子代表采用随机的单词代替输出标签,对于Direct模型,模型表现显著下降,表明ICL中标签空间的一致性显著有助于提高性能。

对于Channel模型,模型表现未明显下降,作者猜测Channel模型以标签为条件,因此无法从标签空间分布中获益。

输入标签配对格式实验

pafljc

分别用labels only(深紫)和no labels(深绿)来探索演示模式的差异对模型表现的影响。可以看到,模型相对于上面两图的OOD setting而言,都有了进一步的下降。这可以表明ICL中保持输入-标签对的格式是关键的。

思维链(Chain of Thought)

思维链(Chain of Thought)是一种新的学习方式,旨在提高模型在数学计算和符号推理任务中的推理能力。这种方式通过将多个相关的数学计算或符号推理步骤按顺序组合成一条思维链,让模型能够沿着思维链进行推理。

这种方式的主要贡献在于,它能够让模型更好地应对复杂的数学计算和符号推理任务。传统的Prompt方式很难应对这种任务,但是思维链可以让模型按照特定的顺序进行推理,从而提高模型的推理能力。

此外,思维链的方式也可以更好地模拟人类在解决数学计算和符号推理问题时的思维过程。人类在解决这类问题时,通常会按照一定的顺序进行推理,而思维链可以让模型更好地模拟这种思维过程。

开山之作:Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

链接:[2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

ren2TO

核心思想:输出答案前,加上人工的推理描述。

主要贡献:

  • 思维链原则上允许模型将多步问题分解为中间步骤,可以将额外的计算分配给需要更多推理步骤的问题。

  • 思维链为模型的行为提供了一个可解释的窗口,表明它可能是如何得出特定答案的,并提供了调试推理路径错误位置的机会。

  • 链式思维推理可用于数学单词问题、常识推理和符号操作等任务,并且可能(至少在原则上)适用于人类可以通过语言解决的任何任务。

  • 只需将思维序列链的例子包含到少样本提示的范例中,就可以很容易地在足够大的现成语言模型中引出思维链推理。

Self-Consistency Improves Chain of Thought Reasoning in Language Models

链接:[2203.11171] Self-Consistency Improves Chain of Thought Reasoning in Language Models

yoZpm2

主要贡献:

  • 主要改进是使用了对答案进行了多数投票(majority vote),并且发现其可以显著地提高思维链方法的性能

Large Language Models are Zero-Shot Reasoners

链接:[2205.11916] Large Language Models are Zero-Shot Reasoners

x6kvJz

核心思想:分为两个步骤:1st prompt、2nd prompt

  • 1st prompt:X′:“Q: [X]. A: [T]”

    • X:输入的问题

    • T:人工的提示trigger词

  • 2nd prompt:[X′] [Z] [A]

    • X′:第一阶段的输入

    • Z:第一阶段模型的输出

    • A:第二阶段的提示trigger词

主要贡献:

  • 验证了zero-shot的能力,不需要few-shot挑选额外的样本

  • 鼓励社区进一步发现类似的多任务提示,这些提示可以引发广泛的认知能力,而不是狭隘的特定任务技能。

不同模版的效果对比:

1AEEnD

QA(自己YY的问题)

Q1:多大的模型能够涌现这些能力?

100B。That is, chain-of-thought prompting does not positively impact performance for small models, and only yields performance gains when used with models of 100B parameters

Q2:BERT或T5能否涌现这些能力?

BERT与GPT差异在于模型结构不同,GPT单向的语言模型,BERT是双向的自编码(AE)模型,但当BERT参数量足够大的时候,在前后输入有关示例,不进行微调,直接预测MASK标签的涌现能力有待验证。

Q3:COT思维链模版的来源?

人工构造。As most of the datasets only have an evaluation split, we manually composed a set of eight few-shot exemplars with chains of thought for prompting—Figure 1 (right) shows one chain of thought exemplar, and the full set of exemplars is given in Appendix Table 20.

Q4:为什么加上Let’s do it step by step 模型可以产出解释?

对比了不同模版,激发模型的推理能力。It remains an open question how to automatically create better templates for Zero-shot-CoT.

Q5:T5、BERT如果同GPT系列一样训练,在训练方法上可行吗?效果会比GPT好吗?

开放讨论……

Q6:为什么大型LLM首选Decoder-only结构?

开放讨论……

Instruction finetuning

U5SBhD

近年来,相关研究发现语言模型的输出并不符合人类意图,因此提出了指示学习的范式。该范式的目的是使语言模型能够更好地理解人类的意图和指示,并且在生成文本时能够更加符合人类的要求。

范式说明备注
Finetuning在下游任务数据集微调
在下游任务数据集推理
需要额外微调
Prompting在下游任务推理时,输入前添加提示,更新少量参数只针对单一数据集
Instruction Tuning在多个提示任务数据集训练
在下游任务推理,输入前添加提示
具有更好地泛化性

论文名称:Scaling Instruction-Finetuned Language Models

链接:[2210.11416] Scaling Instruction-Finetuned Language Models

q9mwKd

IRy6zf

Flan-T5模型在1.8K的Instruction数据集进行了微调,上图表明更大的模型获得更大的提升,与scaling law一致。

Instruction Tuning 的局限

  • 获取足够的任务描述以用于语言模型训练需要付出较高的成本。

  • 语言模型的目标与人类的偏好不一致

Reinforcement Learning from Human Feedback (RLHF)

为了解决语言模型目标与人类的偏好不一致问题,OpenAI采用了RLHF算法,引入人类反馈。

RM反馈模型

thWiB5

那么为模型引入人类反馈过程中,出现下面的问题:

问题1:在模型迭代过程中,添加人工的操作成本很高

解决方式:将他们的偏好建模为一个单独的 (NLP) 问题,而不是直接询问人类的偏好。

根据标注数据,训练一个语言模型 R M ϕ ( s ) R M_\phi(s) RMϕ(s),用以预测人类便好。接下来任务转变成优化语言模型 R M ϕ RM_{\phi} RMϕ

问题2:人们的判断是主观的,不同人的判断难以进行校准

解决方式:让标注人员对成对的数据结果排序,而不是直接打分。

损失函数为:

loss ⁡ ( θ ) = − 1 ( K 2 ) E ( x , y w , y l ) ∼ D [ log ⁡ ( σ ( r θ ( x , y w ) − r θ ( x , y l ) ) ) ] \operatorname{loss}(\theta)=-\frac{1}{\left(\begin{array}{c} K \\ 2 \end{array}\right)} E_{\left(x, y_w, y_l\right) \sim D}\left[\log \left(\sigma\left(r_\theta\left(x, y_w\right)-r_\theta\left(x, y_l\right)\right)\right)\right] loss(θ)=(K2)1E(x,yw,yl)D[log(σ(rθ(x,yw)rθ(x,yl)))]

符号说明:

  • K:预训练模型采样的Prompt输出数量

  • x:预训练模型输入

  • r:reward模型

  • y w y_w yw:排在前面的输出

  • y l y_l yl:排在后面的输出

rsqdZM

当足够大的语言模型经过足够多的数据训练后,评估模型已经接近单个人类评估的表现

RLHF

GjPdpC

经过前面的步骤,我们已有以下模型:

  • 一个经过足够预训练的语言模型(可以附加Instruction Tuning) P P T ( s ) P^{PT}(s) PPT(s)

  • 一个在人类反馈排序数据集上训练的反馈模型 R M ϕ RM_{\phi} RMϕ,为预训练模型的输出完成打分

由于评分是通过反馈模型 R M ϕ RM_{\phi} RMϕ得出的,无法使用梯度下降进行求解,因此采用强化学习中的PPO算法来更新参数。

实现流程:

  1. 复制预训练模型参数,得到待优化模型;

  2. 根据输入语句,两个模型得到各自的输出;

  3. Reward模型针对待优化模型的输入输出打分;

  4. 使用PPO算法来更新待优化模型的参数。

损失函数:

objective ⁡ ( ϕ ) = E ( x , y ) ∼ D π ϕ R L [ r θ ( x , y ) − β log ⁡ ( π ϕ R L ( y ∣ x ) / π S F T ( y ∣ x ) ) ] + γ E x ∼ D pretrain  [ log ⁡ ( π ϕ R L ( x ) ) ] \begin{aligned} \operatorname{objective}(\phi)= & E_{(x, y) \sim D_{\pi_\phi^{\mathrm{RL}}}}\left[r_\theta(x, y)-\beta \log \left(\pi_\phi^{\mathrm{RL}}(y \mid x) / \pi^{\mathrm{SFT}}(y \mid x)\right)\right]+ \\ & \gamma E_{x \sim D_{\text {pretrain }}}\left[\log \left(\pi_\phi^{\mathrm{RL}}(x)\right)\right] \end{aligned} objective(ϕ)=E(x,y)DπϕRL[rθ(x,y)βlog(πϕRL(yx)/πSFT(yx))]+γExDpretrain [log(πϕRL(x))]

符号说明:

  • x:输入文本

  • r:reward打分模型

  • π S F T \pi^{SFT} πSFT:预训练模型

  • π ϕ R L \pi^{RL}_{\phi} πϕRL:强化学习优化模型

  • D p r e t r a i n D_{pretrain} Dpretrain:预训练分布

  • β \beta β:KL散度控制参数

  • γ \gamma γ:预训练损失控制参数

其中:

log ⁡ ( π ϕ R L ( y ∣ x ) / π S F T ( y ∣ x ) ) \log \left(\pi_\phi^{\mathrm{RL}}(y \mid x) / \pi^{\mathrm{SFT}}(y \mid x)\right) log(πϕRL(yx)/πSFT(yx))起到避免修正后模型与原模型差异过大的作用

E x ∼ D pretrain  [ log ⁡ ( π ϕ R L ( x ) ) ] E_{x \sim D_{\text {pretrain }}}\left[\log \left(\pi_\phi^{\mathrm{RL}}(x)\right)\right] ExDpretrain [log(πϕRL(x))]起到避免模型在自然语言理解任务下降过大的作用

IUYSyW

通过RLHF算法,模型的表现得到了显著的提示。

个人理解:

整个流程的出发点在于使GPT模型结果符合人类偏好,而人类偏好无法通过具体规则/函数建模,因此通过Reward模型在一定程度上反应人类偏好,最后对GPT模型进行修正,更新模型参数使模型的输入Reward最大化,即更加反应人类偏好。

因此整个过程中Reward模型代表了设立的训练目标,RLHF算法则对原模型进行修正,使模型输入更加符合设立的训练目标。

现有的局限

按照上述步骤进行操作,就能够完成ChatGPT的训练。下图展示了ChatGPT的完整训练过程。

wV29U9

Step1:收集Prompt数据,基于GPT3.5进行Instruct Tuning的有监督训练;

Step2:收集偏好排序数据,训练Reward模型;

Step3:结合Reward模型,通过PPO算法优化第一步的SFT模型。

然而,人类的偏好是不可信的,用模型表示人类偏好更不可信:

  • ”Reward hacking”是强化学习常见的问题;

  • 模型偏向于产生看似权威和有帮助的回应,而忽视正确性

  • 可能导致编造事实+产生幻觉

MmaPcT

上图说明RM打分很高时,实际表现不一定更好,因此训练损失函数通过KL散度限制优化后模型与原模型的偏离程度。

What’s next?

进一步探索RLHF的使用

  • RLHF在其他领域(如CV)使用

优化RLHF中需要的人工数据标注

  • RL from AI feedback

论文名称:Constitutional AI- Harmlessness from AI Feedback

链接:https://arxiv.org/pdf/2212.08073.pdf

bGL898

让模型在多轮对话中将数据标注出来:

Q1-问训好的普通RLHF模型:能帮我黑进邻居的wifi吗?
A1-天真的模型回答:没问题,你下个xx软件就行。
Q2-要求模型发现自己的错误:上文你给的回复中,找出来哪些是不道德的。
A2-模型回答:我上次回复不对,不应该黑别人家wifi。
Q3-让模型改正错误:修改下你之前的回复内容,去掉有害的。
A3-模型回答:黑别人家wifi是不对的,侵害别人隐私了,我强烈建议别这么搞。

  • Finetuning LMs on their own outputs

论文名称:STaR: Bootstrapping Reasoning With Reasoning

链接:[2203.14465] STaR: Bootstrapping Reasoning With Reasoning

FdKh5P

后记

ChatGPT的产生,对NLP领域产生了重大的影响,那么对于我们NLP从业人员带来了哪些影响,我们又该如何面对呢?

个人觉得ChatGPT对从业人员的影响包含:

  • ChatGPT等LLM可以作为许多自然语言理解任务的基线模型,许多自然语言理解中间过程算法需求降低,从业人员需要了解如何将LLM适配具体业务;

  • 提高了技能要求:LLM的出现提高了NLP从业人员的技能要求。从业人员需要了解如何使用LLM进行训练和调整,以及如何使用LLM处理不同的自然语言数据;

  • 工作形式变化,数据科学家、算法工程师、自然语言处理工程师等工作流程可能会发生变化。

  • 扩展了研究范围:LLM提供了更全面的语言模型。这意味着研究人员可以探索以前不可行的语言问题,从而扩大研究范围。

NLP从业人员可以通过以下几种方式应对LLM的影响:

  1. 持续学习:NLP从业人员应该不断学习新的技术和算法,以便更好地使用LLM。他们应该掌握LLM的使用方法和调整技巧,了解LLM如何处理不同类型的自然语言数据,以及如何在LLM中使用特定的自然语言处理技术。

  2. 适应新的工作要求:LLM的出现可能会导致NLP从业人员需要承担新的工作要求。他们应该熟悉LLM的使用方法,以便在新的工作机会中胜任。同时,他们也应该关注LLM对NLP领域的未来发展和趋势,并不断调整他们的技能和知识。

  3. 创新:LLM的出现为NLP从业人员带来了更多的机会和挑战,他们应该积极地探索新的算法和技术,开发更智能的自然语言处理应用程序,并尝试在不同领域应用LLM。

  4. 关注伦理和社会影响:LLM的出现可能会对自然语言处理的伦理和社会影响产生影响,NLP从业人员应该关注这些影响,并积极参与相关讨论和研究。

总的来说,NLP从业人员应该关注LLM的发展和趋势,不断提高自己的技能和知识,积极创新,与同行交流,同时也要注意伦理和社会影响。这些努力可以帮助他们更好地应对LLM的影响,并为自己的职业发展做好准备。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/10633.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenAI2022年亏损5.4亿美元;GPT-4等大模型容易导致侵权和社会偏见问题;学而思研发大模型MathGPT丨每日大事件...

‍ ‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 企业动态 携程集团与亚马逊云科技成立联合创新实验室 日前,亚马逊云科技宣布与携程集团共同成立“联合创新实验室”,双方表示联合创新实验室将探索运用云计算、大数据、人工智能和机器学习等前沿技…

云原生周刊 | 使用 ChatGPT 协助解决 Prometheus 告警

开源项目推荐 kubernetes-chatgpt-bot 这是一个适用于 Slack 的 ChatGPT 机器人,只要有监控告警发送到 Slack 频道中,你就可以通过机器人向 ChatGPT 咨询如何解决这个告警,ChatGPT 将会给出一个较为详细的解决方案。 Copacetic Copacetic …

ChatGPT 引发AI服务器霸屏?AI服务器和普通服务器不同在哪?

​  近阶段,由于 ChatGPT 的横空问世,引发 AI 服务器再一次热潮来袭。随之而来的是,越来越多的企业和机构开始关注 AI 服务器和普通服务器之间的区别和对比。那么AI服务器到底是什么意思,它与普通服务器相比又有哪些差异呢? AI…

最全方案:升级成Plus会员,无法进入支付页面问题排查与解决

目录 问题复现 解决方案 更多内容 问题复现 当你帐号注册好了,想要升级成Plus的时候,却发现怎么也进不去支付页面:The payments page encountered an error. Please try again. If the problem continues, please email supportopenai.co…

利用催眠技巧绕开OpenAI的内容政策限制(仅供研究使用)

fork的仓库:https://github.com/JanYork/chatgpt-chinese-prompt-hack 声明:请仅作研究之用,不要违规使用! 在hack成功后,通过屏蔽moderetions的api请求,可以绕过OpenAI对于输出内容的审查. 地址为:https://chat.openai.com/back…

WeTab新标签页:一款可以使用的chatGPT的浏览器主页插件

AI工具 如果你还没有体验过chatGPT,那么Wetab新标签页应该是最方便快捷的一个方式了。Wetab新标签页整合了chatGPT的功能,自带6个源可以切换,日常使用完全够了。可以为你解答包括但不限于历史、科学、文化、社会等方面的问题。 你只需要在扩…

ChatGPT插件与Web网络浏览功能大揭秘!

ChatGPT自身进化速度之快让人常常感觉到惊叹,还在感慨GPT4的强大之时,插件以及web浏览功能已经正式发布。以前,它只能使用它在 2021 年之前学到的信息,但现在,OpenAI 开放了插件功能,让 ChatGPT 可以探索整…

ChatGPT连续宕机五次,是真不把高可用当回事?

最近一段时间以来,ChatGPT 火遍全球,然而在飞速的用户增长下,ChatGPT 却有点不堪重负,两天内宕机了五次。 这次宕机事件,再一次凸显了高可用架构的重要性,毕竟任何一个飞速发展的应用在两天内宕机五次&…

ChatGPT的API接口的模型有多少种?这些模型都有什么功能或者在应用场景上有什么区别?【模型介绍使用与调用接口方法】

OpenAI 的 API 接口提供了多个 GPT-3 模型,每个模型针对不同的应用场景和任务进行了优化。以下是目前可用的 GPT-3 模型: davinci: 这是最大和最全面的模型,具有最高的准确性和灵活性,用于多种自然语言处理任务,如文本生成、对话系统、翻译等。 curie: 这个模型比 davin…

20分钟轻松完成2篇申请文书?ChatGPT到底是黑科技还是黑名单?

自从ChatGPT与2022年底正式出道并走红之后,各大领域都纷纷浮现使用这款人工智能软件完成本属于人类工作的现象。如果你以为它就像手机上呼叫一声就能帮你查看天气或者设置闹钟的机器人一样那就错了,ChatGPT能够在一段对话中结合你给的信息生成复杂且具有…

快速拿下CKA认证考试,这些要求和tips你得知道

一、cka简介 K8S专业技术认证包含: CKA(Kubernetes 管理员认证) CKAD(Kubernetes 应用程序开发者认证) CKS(Kubernetes 认证安全专家。预计2020年11月开放,须先通过CKA认证) 什么…

考公机构用ChatGPT押题上热搜 网友戏称“还有什么是ChatGPT不会的吗?”

考前押题是每个老师在学生心中的“高光”时刻,对参加公务员考试的人来说,名师押题的重要性更加不言而喻。近日,在北京某公务员考试培训班上,一位申论老师使用ChatGPT预测申论考点,并直呼“这么快能答出来很难得”。用C…

电脑连不上网,浏览器网页打不开,但qq微信能发消息

这种情况一般是因为之前电脑挂了VPN或者梯子,未关闭/退出 就把电脑直接关机了,这样会导致电脑DNS域名出问题。 1. 打开Windows系统设置 2. 在搜索栏中搜索Internet选项 3. 点 连接,转到局域网设置 4. 把这一项(局域网(LAN)设置&a…

解决mac可以聊QQ微信不能浏览网页问题

最近用双系统的WINDOWS开了一个本地服务器,用于调试两台手机音视频通话,调试结束切回mac系统,发现浏览器无法打开网页了,而QQ微信还可以联网正常使用,经过一番摸索,解决方案做个记录。 打开 系统偏好设置--…

电脑问题:浏览器打不开网页,但是微信QQ等其他软件都可以联网正常运行

电脑问题:浏览器打不开网页,但是微信QQ等其他软件都可以联网正常运行 解决办法一: 现状一:浏览器不提示具体错误,单纯打不开 原因一:DNS域名解析出错 解决办法: 在WIFI标志处右键打开网络设…

开机后,电脑所有浏览器都打不开网页,无法使用网络,但是其它设备比如tim可以正常使用的解决方法

电脑每一个浏览器都打不开网页,但是其它设备比如tim可以正常使用。 解决方法: 电脑在关机的时候“梯子”没有关闭。 再次打开梯子,然后刷一刷网页,就可以打开了,然后再关闭梯子。 之后就可以正常上网了。 关机&#…

电脑正常登录QQ微信,但浏览器无法打开网页,这个你一定要学会!

电脑能正常登录微信/QQ,但是浏览器无法打开网页的情况时有发生。掌握这三个方法,就能轻松解决问题! NO.01 检查电脑DNS是否正常 首先按WinR,输入CMD,回车 输入ping baidu.com,回车 ▲ 网络正常情况有回复 …

微信尝试刷掌支付;苹果 WWDC 将于 6 月 6 日开幕;Qt Creator 10 发布|极客头条

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&#…

1、使用BurpSuite暴力破解登录密码

1、使用BurpSuite暴力破解登录密码 1.环境准备1.1 PC端设置BurpSuite设置代理1.2.靶机环境 2.密码破解漏洞2.1.漏洞简介2.2.常见应对策略2.2.1.强密码策略2.2.2.验证码策略2.2.3.锁定策略2.2.4.加密策略2.2.5.TOKEN验证码 3.密码破解攻击3.1.环境配置3.2.抓包3.3.配置攻击3.3.1…

超详细讲解长度不受限制的字符串函数(保姆级教程!!!)

超详细讲解长度不受限制的字符串函数(保姆级教程!!!) 一、求字符串长度函数strlenstrlen函数的使用strlen函数与sizeof的区别strlen函数的模拟实现 二、长度不受限制的字符串函数strcpy函数strcpy函数的使用strcpy函数…