【自然语言处理】【ChatGPT系列】FLAN:微调语言模型是Zero-Shot学习器

FLAN: 微调语言模型是Zero-Shot学习器
《Finetuned Language Models are Zero-shot Learners》

论文地址:https://arxiv.org/abs/2109.01652

相关博客
【自然语言处理】【大模型】BLOOM:一个176B参数且可开放获取的多语言模型
【自然语言处理】【大模型】PaLM:基于Pathways的大语言模型
【自然语言处理】【chatGPT系列】大语言模型可以自我改进
【自然语言处理】【ChatGPT系列】WebGPT:基于人类反馈的浏览器辅助问答
【自然语言处理】【ChatGPT系列】FLAN:微调语言模型是Zero-Shot学习器
【自然语言处理】【ChatGPT系列】ChatGPT的智能来自哪里?
【自然语言处理】【ChatGPT系列】Chain of Thought:从大模型中引导出推理能力
【自然语言处理】【ChatGPT系列】InstructGPT:遵循人类反馈指令来训练语言模型
【自然语言处理】【ChatGPT系列】大模型的涌现能力

一、简介

请添加图片描述

​ 大语言模型(例如 GPT-3 \text{GPT-3} GPT-3)已经展现出了非常好的 few-shot learning \text{few-shot learning} few-shot learning的能力。然而,在 zero-shot learning \text{zero-shot learning} zero-shot learning上并不成功。例如, GPT-3 \text{GPT-3} GPT-3在阅读理解、问答和自然语言推断上的 zero-shot \text{zero-shot} zero-shot效果远差于 few-shot \text{few-shot} few-shot。一个潜在的原因是,不使用 few-shot \text{few-shot} few-shot样例模型很难在与预训练数据形式不一样的 prompts \text{prompts} prompts上表现良好。

​ 本文探索一种改善大语言模型 zero-shot \text{zero-shot} zero-shot效果的简单方法,这将扩大语言模型的受众。利用一个直觉: NLP \text{NLP} NLP任务可以通过自然语言指令来描述,例如:"这篇影评是正面还是负面?“或者"将how are you翻译为中文”。本文在 137B \text{137B} 137B参数的预训练语言模型上执行 instruction tuning \text{instruction tuning} instruction tuning,即通过自然语言指令在60个 NLP \text{NLP} NLP任务混合数据集上微调模型。这个模型称为 FLAN \text{FLAN} FLAN,即 Finetuned Language Net \text{Finetuned Language Net} Finetuned Language Net

​ 为了评估 FLAN \text{FLAN} FLAN在未见过任务上的 zero-shot \text{zero-shot} zero-shot效果,根据任务类型将 NLP \text{NLP} NLP数据集分为不同的组,将一个组的任务留出来,然后在其他组上微调 FLAN \text{FLAN} FLAN。如上图1所示,为了评估 FLAN \text{FLAN} FLAN在执行自然语言推理的能力,在常识推理、翻译和情感分析等广泛的 NLP \text{NLP} NLP任务上 instruction tune \text{instruction tune} instruction tune模型。

​ 评估结果显示, FLAN \text{FLAN} FLAN显著的改善了 137B \text{137B} 137B参数量模型的 zero-shot \text{zero-shot} zero-shot效果。 FLAN \text{FLAN} FLAN在25个数据集中的20个上的 zero-shot \text{zero-shot} zero-shot效果都优于 GPT-3 \text{GPT-3} GPT-3 zero-shot \text{zero-shot} zero-shot效果,甚至在ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, StoryCloze数据集上的效果大幅度超过了 few-shot \text{few-shot} few-shot GPT-3 \text{GPT-3} GPT-3。在消融研究中发现增加任务组的数量能够改善模型在未见过任务上的效果,并且 instruction tuning \text{instruction tuning} instruction tuning仅出现在足够大的模型上。

请添加图片描述

​ 如上图2描述, instruction tuning \text{instruction tuning} instruction tuning是一种结合了预训练-微调和 prompting \text{prompting} prompting范式的简单方法,其通过微调来改善语言模型对于推理时文本交互的响应。实验结果显示语言模型能够很好的执行指令描述的任务。

二. FLAN \text{FLAN} FLAN Instruction Tuning \text{Instruction Tuning} Instruction Tuning改善 Zero-shot Learning \text{Zero-shot Learning} Zero-shot Learning

instruction tuning \text{instruction tuning} instruction tuning的动机是改善语言模型回答 NLP \text{NLP} NLP指令的能力。想法是使用监督来教语言模型执行指令描述的任务, LM \text{LM} LM将学会遵循指令并且在未见过的任务上也可以完成。为了在未见过的任务上进行评估,根据任务类型将任务分组,将一组任务留出评估,并使用余下的任务进行 instruction tuning \text{instruction tuning} instruction tuning

2.1 任务和模板

请添加图片描述

​ 由于从头创建一个具有许多任务的 instruction tuning \text{instruction tuning} instruction tuning数据集非常消耗资源,所以将研究社区的现有数据集转换为指令的形式。将 Tensorflow \text{Tensorflow} Tensorflow数据集中的62文本数据集整合为单个混合数据集,包含语言理解和语言生成任务。上图3展示了这些数据集,每个数据集会被分类至12个任务组中。

​ 对于每个数据集,手动构造10个唯一的模板,这些模板使用自然语言指令来描述该数据集的任务。10个模板中的大多数都描述原始任务,但为了增加多样性,每个数据集还会增加3个“扭转任务”的模板(例如:对于情感分类,包含了一些要求生成电影评论的模板)。然后在所有数+据集混合的数据集上 instruction tune \text{instruction tune} instruction tune预训练语言模型。下图4展示了一个自然语言推理数据集的多个指令模板。

请添加图片描述

2.2 评估划分

​ 本文感兴趣的是, FLAN \text{FLAN} FLAN在未见过任务上 instruction tuning \text{instruction tuning} instruction tuning表现,所以定义什么是未见过的任务至关重要。尽管先前的工作通过不允许相同的数据集出现在训练中来定义未见过的任务,本文通过上图3的任务分组来使用更加保守的定义。在本文中,若在 instruction tuning \text{instruction tuning} instruction tuning时没有见过 D \mathcal{D} D所属任务组中的所有数据集,那么在评估时 D \mathcal{D} D是未见过的。例如,若 D \mathcal{D} D是一个蕴含任务,然后在 instruction tuning \text{instruction tuning} instruction tuning中没有任何蕴含数据集,并且在所有的其他组中的任务上进行 instruction-tuned \text{instruction-tuned} instruction-tuned

2.3 带有选项的分类

​ 给定任务的输出空间通常是几个类别中的一个(分类),或者是自由文本(生成)。由于 FLAN \text{FLAN} FLAN instruction-tuned \text{instruction-tuned} instruction-tuned版本的纯解码器语言模型,其天然能够生成自由文本,所以对于生成任务不需要进一步修改。

​ 对于分类任务,先前的工作使用一个 rank classification \text{rank classification} rank classification方法,例如:仅有两个输出被考虑(“yes"和"no”),较高概率的一个就是模型的预测。虽然这个过程在逻辑上是合理的,但是不完美。因此,我们包括了一个选项后缀,即将 OPTIONS \text{OPTIONS} OPTIONS这个单词添加至分类任务的末尾,附带该任务输出类别列表。这使得模型知道在响应分类任务时需要选择哪些。样本如上图1所示。

2.4 训练细节

  • 模型结构和预训练

    在本文实验中,使用 LaMDA-PT \text{LaMDA-PT} LaMDA-PT,一个具有 137B \text{137B} 137B参数量的稠密的 left-to-right  \text{left-to-right } left-to-right 纯解码器 Transformer \text{Transformer} Transformer语言模型。该模型在网络文档(包括计算机代码)、对话数据和 Wikipedia \text{Wikipedia} Wikipedia上进行预训练,使用 SentencePiece \text{SentencePiece} SentencePiece 32k \text{32k} 32k词表,共有 2.49T \text{2.49T} 2.49T BPE tokens \text{BPE tokens} BPE tokens。大约有10%的预训练数据是非英文的。

  • Instruction tuning \text{Instruction tuning} Instruction tuning过程

    FLAN \text{FLAN} FLAN instruction-tuned \text{instruction-tuned} instruction-tuned版本的 LaMDA-PT \text{LaMDA-PT} LaMDA-PT instruction tuning pipeline \text{instruction tuning pipeline} instruction tuning pipeline混合了所有的数据集,并且随机从每个数据集中采样。为了平衡不同数据集的尺寸,限制每个数据集的训练样本数量为 30k \text{30k} 30k。模型微调时, learning rate \text{learning rate} learning rate 3e-5 \text{3e-5} 3e-5 batch size \text{batch size} batch size为8192,使用 Adafactor \text{Adafactor} Adafactor优化器,所有模型都微调 30k \text{30k} 30k个梯度步。微调时输入和输出的序列的长度为1024和256。整个 instruction tuning \text{instruction tuning} instruction tuning在128核的 TPUv3 \text{TPUv3} TPUv3上用了60个小时。对于所有的评估,报告最终 checkpoint \text{checkpoint} checkpoint的结果。

三、结果

请添加图片描述

​ 本文在自然语言推理、阅读理解、闭卷问答、翻译、常识推理、指代消解和 struct-to-text \text{struct-to-text} struct-to-text上评估了 FLAN \text{FLAN} FLAN。对于每个数据集,评估所有模板效果的平均值,其代表了给定一个典型自然语言指令的预期性能。

​ 为了比较,报告了使用与 GPT-3 \text{GPT-3} GPT-3相同 prompts \text{prompts} prompts LaMDA-PT \text{LaMDA-PT} LaMDA-PT zero \text{zero} zero few-shot \text{few-shot} few-shot结果。这个 baseline \text{baseline} baseline提供了最直接的消融, instruction tuning \text{instruction tuning} instruction tuning到底有多少帮助。 instruction tuning \text{instruction tuning} instruction tuning在大多数数据集上改善了 LaMDA-PT \text{LaMDA-PT} LaMDA-PT

​ 本文还展示了 GPT-3 175B \text{GPT-3 175B} GPT-3 175B GLaM 64B/64E \text{GLaM 64B/64E} GLaM 64B/64E zero-shot \text{zero-shot} zero-shot效果。 zero-shot FLAN \text{zero-shot FLAN} zero-shot FLAN在25个数据集中的20个上超过了 zero-shot GPT-3 \text{zero-shot GPT-3} zero-shot GPT-3,甚至在10个数据集上超过了 GPT-3 \text{GPT-3} GPT-3 few-shot \text{few-shot} few-shot性能。 zero-shot GLaM \text{zero-shot GLaM} zero-shot GLaM在19个数据集中的13个上超越了 zero-shot GLaM \text{zero-shot GLaM} zero-shot GLaM,以及在19个数据集中的11个上超越了 one-shot GLaM \text{one-shot GLaM} one-shot GLaM

​ 总的来说,发现 instruction tuning \text{instruction tuning} instruction tuning对自然表述为指令的任务上非常有效,并且对于那些直接形式化为语言模型的任务上不是很有效,其中指令大部分冗余(例如:常识推理和指代消歧任务被形式化为完成不完整的句子或者段落)。自然语言推理、阅读理解、闭卷问答和翻译的结果如上图5所示。

  • 自然语言推理 (NLI) \text{(NLI)} (NLI)

    在5个 NLI \text{NLI} NLI数据集,对于给定 premise \text{premise} premise,模型需要判断 hypothesis \text{hypothesis} hypothesis是否为真, FLAN \text{FLAN} FLAN大幅度超越了所有的 baselines \text{baselines} baselines。正如Brown et al.所说, GPT-3 \text{GPT-3} GPT-3 NLI \text{NLI} NLI上挣扎的一个原因是, NLI \text{NLI} NLI样本不太可能自然的出现在无监督训练集中,其只会作为句子的延续来使用。对于 FLAN \text{FLAN} FLAN,将 NLI \text{NLI} NLI作为更加自然的问题 Dose <premise> mean that <hypothesis>? \text{Dose <premise> mean that <hypothesis>?} Dose <premise> mean that <hypothesis>?,从而实现更好的效果。

  • 阅读理解

    在阅读理解上,模型要求在给定的段落上回答问题, FLAN \text{FLAN} FLAN效果超过了baseline MultiRC \text{MultiRC} MultiRC QBQA \text{QBQA} QBQA。在 BoolQ \text{BoolQ} BoolQ上, FLAN \text{FLAN} FLAN大幅度超越了 GPT-3 \text{GPT-3} GPT-3

  • 闭卷问答

    对于闭卷问答,在不访问包含答案的具体信息情况下,要求模型回答关于世界的问题, FLAN \text{FLAN} FLAN在所有4个数据集上都超越了 GPT-3 \text{GPT-3} GPT-3。相较于 GLaM \text{GLaM} GLaM FLAN \text{FLAN} FLAN ARC-e \text{ARC-e} ARC-e ARC-c \text{ARC-c} ARC-c上的效果更优,在 NQ \text{NQ} NQ TQA \text{TQA} TQA上的效果略差于 GLaM \text{GLaM} GLaM

  • 翻译

    类似于 GPT-3 \text{GPT-3} GPT-3 LaMDA-PT \text{LaMDA-PT} LaMDA-PT的训练数据90%是英文并且包含一些其他语言的文本。本文在 GPT-3 \text{GPT-3} GPT-3论文中评估的三个机器翻译数据集上评估了 FLAN \text{FLAN} FLAN:来自于 WMT’14 \text{WMT'14} WMT’14的法语-英语,来自 WMT’16 \text{WMT'16} WMT’16的德语-英语和罗马尼亚语-英语。相较于 GPT-3 \text{GPT-3} GPT-3 FLAN \text{FLAN} FLAN在6个评估上效果优于 zero-shot GPT-3 \text{zero-shot GPT-3} zero-shot GPT-3,大多数情况下效果差于 few-shot GPT-3 \text{few-shot GPT-3} few-shot GPT-3。类似于 GPT-3 \text{GPT-3} GPT-3 FLAN \text{FLAN} FLAN在翻译为英文上有很好的效果,并且比监督翻译基线效果更好。然而,将英语翻译为其他语言的效果相对较弱,可能是因为 FLAN \text{FLAN} FLAN使用英文的 sentencepiece tokenizer \text{sentencepiece tokenizer} sentencepiece tokenizer且主要在英文数据集上预训练。

  • 额外任务

    虽然在上面几组任务中有很好的结果, instruction tuning \text{instruction tuning} instruction tuning的一个局限是不能够改善需要语言建模任务的表现(例如:常识推理或者指代消解)。对于7个常识推理和指代消解任务, FLAN \text{FLAN} FLAN仅在7个任务中的3个上超越了 LaMDA-PT \text{LaMDA-PT} LaMDA-PT负面结果表明,当下游任务与原始语言建模预训练目标相同时, instruction tuning \text{instruction tuning} instruction tuning是没有用的。最终,本文在附录中报告了情感分析、段落检测和 struct-to-text \text{struct-to-text} struct-to-text的结果。一般来说, zero-shot FLAN \text{zero-shot FLAN} zero-shot FLAN效果优于 zero-shot LaMDA-PT \text{zero-shot LaMDA-PT} zero-shot LaMDA-PT,并且能够达到甚至超过 few-shot LaMDA-PT \text{few-shot LaMDA-PT} few-shot LaMDA-PT

四、消融研究和进一步分析

1. Instruction tuning \text{Instruction tuning} Instruction tuning组的数量

请添加图片描述

​ 本篇文章的核心问题是 instruction tuning \text{instruction tuning} instruction tuning如何改善模型在未见过任务上的 zero-shot \text{zero-shot} zero-shot效果。在第一个消融实验中,主要是研究任务组的数量和任务类型在 instruction tuning \text{instruction tuning} instruction tuning的影响。在这个设定下, NLI \text{NLI} NLI、闭卷问题和常识推理作为评估任务组,并使用7个余下的组来进行 instruction tuning \text{instruction tuning} instruction tuning。本文展示了1到7个 instruction tuning \text{instruction tuning} instruction tuning组的结果,每个组按照任务数量递减的顺序添加。

​ 上图6展示了这些结果。正如预期的那样,发现随着向 instrunction tuning \text{instrunction tuning} instrunction tuning添加组和任务时,三个留出来组的平均效果都有提高,确定了提出的 instruction tuning \text{instruction tuning} instruction tuning方法在新任务上的 zero-shot \text{zero-shot} zero-shot表现是有改善的。更有趣的是,对于测试的7个组,效果并没有饱和,意味着向 instruction tuning \text{instruction tuning} instruction tuning添加更多的任务组,效果可能进一步改善。

2. Scaling Laws \text{Scaling Laws} Scaling Laws

请添加图片描述

​ 对于更大的模型,语言模型的 zero \text{zero} zero few-shot \text{few-shot} few-shot能力会得到显著的改善。接下来我们会探索模型规模对 instruction tuning \text{instruction tuning} instruction tuning的影响。使用前一个消融实验相同的组划分,评估了 442M,2B,8B,68B \text{442M,2B,8B,68B} 442M,2B,8B,68B 137B \text{137B} 137B参数量对于 instruction tuning \text{instruction tuning} instruction tuning的影响。

​ 上图7展示了这些结果。可以看到两个模型在 100B \text{100B} 100B参数的规模, instruction tuning \text{instruction tuning} instruction tuning在留出的任务上有显著的改善。然而, instruction tuning \text{instruction tuning} instruction tuning 8B \text{8B} 8B以及更小模型上是对效果有害的。对这个结果的潜在解释可能是:对于小模型来说,通过 instruction tuning \text{instruction tuning} instruction tuning学习约40个任务已经填充满整个模型的容量,导致模型在新任务上效果差。在这个潜在的解释下,对于更大的模型, instruction tuning \text{instruction tuning} instruction tuning填充了模型的一些容量,但是也教会这些模型遵循指令,允许使用其余的容量泛化到新任务上。

3. Instructions \text{Instructions} Instructions的角色

请添加图片描述

​ 在最后的消融研究中,探索了 instruction \text{instruction} instruction在微调过程中的角色。一个可能是效果的收益完全来自于多任务微调,在没有 instruction \text{instruction} instruction模型也能够有相同的表现。因此考虑两种没有 instruction \text{instruction} instruction的微调设置。在"no template"的设置中,仅把输入和输出给到模型;在“dataset name”设置中,每个输入前添加任务名和数据集名(例如: 对于翻译为法语任务,输入为"[Translation: WMT’14 to French] The dog runs.")

​ 比较了两种消融实验与 FLAN \text{FLAN} FLAN微调。对于"no template"设置,在 zero-shot \text{zero-shot} zero-shot推断时使用 FLAN instructions \text{FLAN instructions} FLAN instructions(因为没有使用模板,模型不知道该执行哪个任务)。对于在数据集名上微调的模型,报告 FLAN instructions \text{FLAN instructions} FLAN instructions和使用数据集名的 zero-shot \text{zero-shot} zero-shot效果。上图8展示了结果,这两种消融配置都显著差于 FLAN \text{FLAN} FLAN,表明使用 instructions \text{instructions} instructions训练对于在未见过任务上的 zero-shot \text{zero-shot} zero-shot效果至关重要。

4. 带有 few-shot \text{few-shot} few-shot样例的 Instructions \text{Instructions} Instructions

请添加图片描述

​ 目前为止都专注在 zero-shot \text{zero-shot} zero-shot设置下的 instruction tuning \text{instruction tuning} instruction tuning。这里研究当在推理时有 few-shot \text{few-shot} few-shot样例时如何使用 instruction tuning \text{instruction tuning} instruction tuning few-shot \text{few-shot} few-shot设置中的格式是建立在 zero-shot \text{zero-shot} zero-shot格式上。对于输入 x x x和输出 y y y,令 instruct(x) \text{instruct(x)} instruct(x)表示 zero-shot instructions \text{zero-shot instructions} zero-shot instructions。然后,给定 k k k few-shot \text{few-shot} few-shot样例 ( x i , y i ) i = 1 k (x_i,y_i)_{i=1}^k (xi,yi)i=1k和一个新输入 x x x,对于 few-shot \text{few-shot} few-shot设置下的 instruction \text{instruction} instruction格式为
instruct ( x 1 ) ⊕ y 1 ⊕ instruct ( x 2 ) ⊕ y 2 ⊕ ⋯ ⊕ instruct ( x k ) ⊕ y k ⊕ instruct ( x ) \text{instruct}(x_1)\oplus y_1\oplus\text{instruct}(x_2)\oplus y_2\oplus\dots\oplus\text{instruct}(x_k)\oplus y_k\oplus\text{instruct}(x) instruct(x1)y1instruct(x2)y2instruct(xk)ykinstruct(x)
其中 ⊕ \oplus 表示通过分隔符来平均字符串。在训练和推理阶段,样例是随机从训练集中采样的,并且样例数量的上限是16且总长度序列小于960。实验使用相同的任务划分和评估过程,未见过任务上的 few-shot \text{few-shot} few-shot样例仅在推理时使用。

​ 如上图9所示,相较于 zero-shot FLAN \text{zero-shot FLAN} zero-shot FLAN few-shot \text{few-shot} few-shot样例在所有任务上都有显著改善。 few-shot \text{few-shot} few-shot样例对于具有大型且复杂输出空间任务都特别有效,例如: struct to text \text{struct to text} struct to text,翻译,闭卷问答。可能是因为样例有助于模型更好的理解输出格式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/14510.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatglm微调

chatGML 看到 【【官方教程】ChatGLM-6B 微调&#xff1a;P-Tuning&#xff0c;LoRA&#xff0c;Full parameter】 【精准空降到 15:27】 https://www.bilibili.com/video/BV1fd4y1Z7Y5/?share_sourcecopy_web&vd_sourceaa8c13cff97f0454ee41e1f609a655f1&t927 记得看…

ChatGPT微调分类示例

我们将微调 ada 分类器以区分两种运动&#xff1a;棒球和曲棍球。 from sklearn.datasets import fetch_20newsgroups import pandas as pd import openaicategories [rec.sport.baseball, rec.sport.hockey] sports_dataset fetch_20newsgroups(subsettrain, shuffleTrue, …

45个 Cha​tGPT 常用插件说明

45个 ChatGPT 常用插件说明 ChatGPT常用的45个插件&#xff0c;以及它们用途说明&#xff1a; 1/ Slack&#xff1a;查询Slack信息 2/ Zapier&#xff1a;与5000应用&#xff0c;如Google Sheets和Docs进行交互。 3/ Expedia&#xff1a;在一个地方激活你的旅行计划 4/ Kla…

【.Net/C#之ChatGPT开发系列】四、ChatGPT多KEY动态轮询,自动删除无效KEY

ChatGPT是一种基于Token数量计费的语言模型&#xff0c;它可以生成高质量的文本。然而&#xff0c;每个新账号只有一个有限的初始配额&#xff0c;用完后就需要付费才能继续使用。为此&#xff0c;我们可能存在使用多KEY的情况&#xff0c;并在每个KEY达到额度上限后&#xff0…

1.3 - 操作系统 - firewalld防火墙iptables防火墙

「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「订阅专栏」:此文章已录入专栏《网络安全入门到精通》 Linux防火墙 Frewalld1、常用操作2、开放/关闭服务3、开放/关闭端口4、IP访问端口规则5、安全域Iptables1、常用操作2、四表五链cent…

再见操作系统!ChatGPT和Windows直接在一起了

来源&#xff1a;水木学堂 二十世纪初&#xff0c;微软曾发起过一场“浏览器战争”&#xff0c;用 IE 4.0 成功打赢了浏览器市场份额超过 90% 以上的网景浏览器。当时&#xff0c;微软用的就是“将 IE 放在 Windows 98 ”这样的“禁忌武器”&#xff0c;还因此遭到了日后的反垄…

ChatGPT封杀潮,禁入学校,AI顶会特意改规则,LeCun:要不咱把小模型也禁了?...

2023 点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 计算机视觉研究院专栏 作者&#xff1a;Edison_G 狂欢之后&#xff0c;事情的走向开始进入封杀这一过程。 公众号ID&#xff5c;ComputerVisionGzq 学习群&#xff5c;扫码在主页获取加入方式 转自《机器之心》…

VPS(Linux)解决ChatGPT Access Denied(错误码1020)方法

本文参考了GitHub的一个开源项目&#xff0c;项目地址:https://github.com/fscarmen/warp 操作方法: 以下两个脚本二选一&#xff0c;部署完成后记得重启VPS VPS嵌套WARP后&#xff0c;建议开启BBR&#xff0c;能够有效降低延迟 WARP部署脚本: wget -N https://raw.githubu…

奶奶版ChatGPT炸了!背刺微软泄露Win11秘钥!

教坏一个大模型的成本实在太低了&#xff01; 大家都知道&#xff0c;ChatGPT本身可以制造“幻觉”&#xff0c;却也原来如此容易被“情感”所利用&#xff01;只要故事讲的好&#xff0c;让ChatGPT为你摘星星都没问题&#xff01;万万没想到&#xff0c;通过让ChatGPT扮演一个…

第一批因ChatGPT坐牢的人,已经上路了

大家好&#xff0c;我是 Jack。 ChatGPT 的火爆有目共睹&#xff0c;有人靠着它赚了第一桶金&#xff0c;也有人靠着它即将吃上第一顿牢饭。 任何一件东西的火爆&#xff0c;总会给一些聪明人带来机会。 艾尔登法环火的时候&#xff0c;一堆淘宝卖魂的&#xff1b;羊了个羊火…

机器学习--最小二乘法

补充&#xff1a; 一. 简介 最小二乘法&#xff08;又称最小平方法&#xff09;是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据&#xff0c;并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法…

java最后问面试官什么问题,大量教程

魔鬼面试官必问:ConcurrentHashMap 线程安全吗?但面对魔鬼面试官时,我们更在乎的是这些真的正确吗? 1 线程重用导致用户信息错乱生产环境中,有时获取到的用户信息是别人的。查看代码后 为方便观察问题,我们输出了这个Map一开始和最后的元素个数。 师兄大厂面试遇到面试官的Ka…

计算机网络参考模型及协议

目录 一、计算机网络概述 1.1计算机网络与通信 1.2计算机IP地址与Mac地址 1.3计算机网络相关术语 1.4计算机网络相关设备 1.5计算机网络分类 二、计算机网络分层 2.1计算机网络分层的必要性 三、OSI七层参考模型 3.1应用层 3.2表示层 3.3会话层 3.4传输层 3.5网络…

纪念成为博客专家

一、前言 是的&#xff0c;一直到现在都有点蒙蒙的。从上周六提交申请之后&#xff0c;一直没有消息&#xff0c;博主自己都放弃了。这是第四次申请&#xff0c;虽然申请了很多次&#xff0c;但内心一直有些打退堂鼓&#xff0c;觉得自己的技术水平并不到位&#xff0c;其他的专…

你们都去养猪,我还写前端,然后自费送签名书

文/北妈 阅读本文需要 2.1分钟 这是北妈第 221篇 原创文章 一 我们的口号是&#xff1f; 忘了&#xff1f;周五不加班&#xff0c;周五不加班&#xff0c;不加班&#xff01; 今天北妈我就说两点&#xff0c;说完去吃饭。 1、最近朋友圈、大V们&#xff0c;人人都在养猪&#x…

惊呆了!Java程序员最常犯的错竟然是这10个

和绝大多数的程序员一样&#xff0c;我也非常的宅。周末最奢侈的享受就是逛一逛技术型网站&#xff0c;比如说 programcreek&#xff0c;这个小网站上有一些非常有意思的主题。比如说&#xff1a;Java 程序员最常犯的错竟然是这 10 个&#xff0c;像这类令人好奇心想害死猫的主…

spring boot从0到实战 全

前言&#xff1a;看到这篇博客的小可爱们&#xff0c;这篇博客是我自己从0到实战的笔记&#xff0c;后面我会附上我整个过程的源码给大家参考&#xff0c;一起加油把。 同时&#xff0c;这是上一篇博客&#xff0c;SpringBoot详解&#xff0c;完整版。从0到1&#xff01;&#…

FFT蝶形算法的verilog实现专题——从FFT算法的定义开始入手

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 FFT蝶形算法的verilog实现专题——从FFT算法的定义开始入手 先从FFT的定义入手&#xff1a; 一个N 点序列x(n) 的DFT 定义为: 下面用MATLAB程序来面熟一下上述这个式子&…

SAP 电商云 Spartacus UI 修改 Delivery Mode 触发的三个 HTTP 请求

LoaderState&#xff1a; loading 状态在 true 和 false 之间的切换&#xff0c;通过 loader .reducer.ts 里的 reducer 函数进行。每次通过 store.dispatch 往 store 里投递新的 action 时&#xff0c;都会触发该 reducer 的执行。 添加上打印日志&#xff1a; 设置 delive…

再送签名书20本、红包封面10000个

大家好&#xff0c;我是北妈 福利又来了&#xff0c;由于北妈红包封面抢手&#xff0c;又增加了 10000个&#xff0c;没领到的赶紧转发&#xff0c;让亲朋好友来领取。 然后下面送签名书喽。 1、送书 又到了送北妈签名书的时候&#xff0c;凑着要放假&#xff0c;赶紧上车关门&…