自然语言大模型介绍

1 简介

最近一直被大语言模型刷屏。本文是周末技术分享会的提纲,总结了一些自然语言模型相关的重要技术,以及各个主流公司的研究方向和进展,和大家共同学习。

2 Transformer

目前的大模型基本都是Transformer及其变种。本部分将介绍Transformer基础模型及其主要变种。

2.1 Transformer模型

Transformer是一种基于自注意力机制的模型,由Encoder和Decoder两部分组成。
下图是精典论文《Attention is all you need》中展示的模型结构图,左边是Encoder,右边是Decoder,

在Transformer中,Encoder将输入序列映射到一个高维空间中,Decoder则将这个高维空间中的向量映射回输出序列。
在Encoder中,所有的词一起输入一起计算;在Decoder中像RNN一样一个一个词输入,将已经出现的词计算得到的Q与Encoder计算得到的K,V进行计算,经过了全部Decoder层再经过FC+Softmax得到结果之后再把结果当做Decoder的输入再走一遍整个流程直到得到END标签。
Transformer既有Encoder又有Decoder,主要因为一开始处理的是翻译任务,需要先理解整句的意思,再逐字生成翻译结果。

Encoder和Decoder的主要区别包括:

  • Decoder多包含了一个处理层(编码器-解码器注意力),其接入的是Encoder的输出。
  • Decoder下面的是 Masked Attention,它屏蔽了下文,只考虑上文对下文的影响。
    简单讲:主要差别就是单向/双向注意力的差别。
    论文地址:Attention is All you Need

2.2 自编码

  • 常见模型:BERT类模型
  • 结构:只有Encoder
  • 方法:双向上下文,Mask语言模型
  • 场景:编码器产生适合自然语言理解任务的上下文表示,常用于解决阅读理解,完型填空等问题。
  • 缺点:不能支持不确定长度文本的生成,而且依赖前后上下文,这样就非常限制下游任务的类型;一般只能在fine-tune后才能在下游任务中使用,这也将涉及大量人工操作和模型调参,模型也不能做得太大。
  • 论文地址:BERT: Pre-training of Deep Bidirectional Transformers for
    Language Understanding

2.3 自回归

  • 常见模型:GPT-3等模型
  • 结构:只有Decoder
  • 方法:单向上下文本:从左->右,“一个接一个”生成文本。将解码器自己当前步的输出加入下一步的输入,因此可以生成后续不定长的序列。
  • 场景:适用于生成长数据,实现大模型,few-shot任务效果好
  • 缺点:单向注意力,使之无法完全捕获 NLU 任务中上下文词之间的依赖关系。可以将其它任务转换成自回归任务,比如:“XXXX电影很好看,这是对/错的”,完型填空题"xxx_yyy,横线上应该填zzz"。这基本就是提示的原理,它让Decoder类模型可以在不fine-tune的情况适应各种类型的下游任务,同时也拥有了BERT的一些优势——虽然不是双向的,但应学习的知识都在前文里。
  • 论文地址:Language Models are Few-Shot Learners

2.4 结合Encoder和Decoder

  • 常见模型:T5,GLM
  • 结构:结合Encoder和Decoder
  • 方法:在Encoder中使用双向上下文,Docoder使用单向,在E和D间使用交叉注意力。
  • 场景:主要用于有条件的文本生成,比如生成摘要,回答问题
  • 缺点:需要更多参数。

2.4.1 T5

  • 第一种方式实现上面提到的翻译功能,只使用其Encoder部分,如BERT。
  • 第二种方式是根据上文生成下文,如GPT
  • 第三种方式在序列的前缀部分使用完全可见的掩码,如在上面提到的英语到德语的翻译示例中,完全可见的掩码将应用于前缀“translate English to German: That is good.target:”使用因果掩蔽来预测目标“Das ist gut”。(对条件使用双向,对结果使用单向)。

2.4.2 GLM

  • 方法 自回归的空白填充

3 模型变迁

  • BERT(Devlin et al.,2018)
  • GPT-2(Radford et al.,2019)
  • MegatronLM(Shoeybi et al.,2019)
  • T5(Raffel et al,2019)。
  • GPT-3(Brown et al.,2020 年)取得了重大突破

  • 开始大模型
  • Jurassic-1(Lieber et al.,2021)
  • Megatron-Turing NLG 2022)
  • Gopher (Rae et al., 2021)
  • Chinchilla (Hoffmann et al., 2022)
  • PaLM (Chowdhery et al., 2022)
  • OPT (Zhang et al., 2022)
  • GLM (Zeng et al., 2022)

4 主流大模型

  • 思想 & 结构 & 应用(道 术 技)
  • 一般称参数大于100B的语言模型为大语言模型。
  • 大模型主要用于解决few shot, zero shot问题。

4.1 Google

Google 的几篇文章从模型架构,算法优化,模型规模,应用场景,以及大语言模型指导机器人同步推理;对话场景中的其它应用(搜索、翻译、计算器)结合等方面进行了广泛探索,且基本都是开源的。

4.1.1 T5模型

  • 发布时间:2019-06-11
  • 解决问题:T5是Transfer Text-to-Text Transformer的简写,它是一种NLP Text-to-Text预训练模型。它的输入是文本,输出也是文本,模型使用迁移学习的技术,使用Transformer架构。其目标是给整个 NLP 预训练模型领域提供了一个通用框架,把所有任务都转化成一种形式。
  • 方法:提出了Encoder加Decoder的新结构,结合了BERT和GPT结构的优势。将任务转换成合适的文本输入输出。
  • 模型结构:Encoder+Decoder
  • 模型和数据规模:包含 3B(Billion)和11B版本,处理后最终生成了750GB的数据集C4,并且在TensorFlow Datasets开放了数据。
  • 亮点:模型结构,整体框架
  • 论文地址:Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

4.1.2 LaMDA

  • 发布时间:2022-02-10
  • 解决问题:调优对话机器人。提升模型的安全性和事实性,同时可利用外部知识来源,如:信息检索系统、语言翻译器和计算器——结合了自然语言模型与其它工具
  • 方法:利用众包方式,选择人类偏好的回答,利用标注数据finetune模型。
  • 模型结构:Decoder结构。
  • 数据和模型规模:1.56T 词进行预训练,137B 参数。
  • 亮点:结合了自然语言模型和其它工具,功能有点像newbing
  • 论文地址:LaMDA: Language Models for Dialog Applications

4.1.3 引导调优

  • 发布时间:2022-02-08
  • 解决问题:在通过指令描述的一组数据集上微调语言模型,它显著提高了未见任务的 zero-shot 性能。FLAN 的性能相对于LaMDA每个任务平均值提升了10左右。
  • 方法:将此类模型称为FLAN(Finetuned Language Net),用 Tensorflow Datasets 上公开可用的 62 个文本数据集,划分为十二种任务,针对每种任务编写模板,用于调优模型。指令调优管道混合了所有数据集并从每个数据集中随机抽样。为了平衡不同大小的数据集,将每个数据集的训练示例数量限制为 30k,并遵循示例比例混合方案。
  • 数据结构:同 LaMDA
  • 数据和模型规模:预训练同LaMDA,精调使用62个数据集数据。
  • 亮点:指令调优,见原理图
  • 论文地址:Finetuned Language Models Are Zero-Shot Learners

4.1.4 GLaM

  • 发布时间:2022-08-01
  • 解决问题:针对节约计算资源的研究,推进了针对细分专家领域的发展。
  • 方法:一种混合专家(MoE)模型,可以将其视为具有不同子模型(或专家)的模型,每个子模型都专门针对不同的输入。每层中的专家由门控网络控制,该网络根据输入数据激活专家。每次只激活8%的子网络。
  • 模型结构:MoE,Decoder结构。
  • 数据和模型规模:最大的 GLaM 有 1200B 参数,大约是 GPT-3 的 7 倍,却仅消耗用于训练 GPT-3 的 1/3 的能量,并且需要一半的计算触发器来进行推理;质量筛选数据对模型训练的影响。过滤后的网页包含 143B 个token,而未过滤的网页包含大约 7T 个token,实验说明有些任务需要高质量数据训练。
  • 亮点:模型结构,见模型结构图
  • 论文地址:GLaM:Efficient Scaling of Language Models with Mixture-of-Experts

4.1.5 PaLM

  • 发布时间:2022-10-05
  • 解决问题:作者认为当模型大到一定程度后,其性能也能飞跃,而PathWay技术是其大规模训练的基础。PaLM更关注逻辑推理相关的任务,这也为后面的PaLM-E机器人行为规划奠定了基础。
  • 方法:推理链提示和大模型都明显提升了模型的推理能力。
  • 模型结构:Decoder结构。
  • 数据和模型规模:使用6144 个芯片训练,模型8B/62B/540B参数,780 B高质量token,密集激活。数据基于训练 LaMDA和GLaM的数据,除了自然语言,还包含多种编程语言的源代码。根据文件之间的 Levenshtein 距离删除重复项。
  • 亮点:大模型&推理部分&模型解释(6.3 推理,9. 探索解释)
  • 论文地址:PaLM: Scaling Language Modeling with Pathways

4.1.6 PaLM-E

  • 发布时间:2023-03-06
  • 解决问题:通过多模态接入了视频,传感器,将大模型学到的知识应用于机器人领域,进一步解决世界中的交互问题。PaLM-E直接产生动作的计划,从而让机器人自己规划过程。
  • 方法:将图像和状态等输入嵌入到与语言标记相同的隐空间中,并由基于Transformer的LLM的自注意力层以与文本相同的方式进行处理,输出可以是问题的答案,或者文本形式生成的、由机器人执行的决策序列。
  • 模型结构:Decoder解码器;提出神经网络结构,支持多模态token。模型包含三部分:观测数据编码器,映射器和自然语言模型。
  • 数据和模型规模:训练的最大模型有 562B 参数,包含540B语言参数和22B视觉参数。
  • 亮点:论文实验部分
  • 论文地址:PaLM-E: An Embodied Multimodal Language Model

4.2 Meta(Facebook)

Meta 更偏重于模型的应用场景,在模型规模,减少标注开销,提升质量等方面进行了研究,尤其是其发布的 LLaMA 目前已经成为各个经济适用模型的基础模型,可能很快成为DIY的主流框架。本部分除了 Meta公司的研究,还介绍了两个 LLaMA 的衍生产品。

4.2.1 OPT-175B

  • 发布时间:2022-05-03
  • 解决问题:超大规模语言模型,该模型是当时第一个模型参数超过千亿级别的开放模型,该模型与GPT-3相比,更加开放及便于访问。
  • 方法:训练 125M - 175B 各种大小的模型,经过一系列优化,只使用了GPT-3的1/7的训练资源。这是通过结合Meta的开源完全分片数据并行(FSDP) API和NVIDIA的张量并行抽象在Megetron-LM中实现的。
  • 模型结构:Decoder结构。
  • 数据和模型规模:175B参数
  • 论文地址:OPT: Open Pre-trained Transformer Language Models

4.2.2 Self instruct

  • 发布时间:2022-12-20
  • 解决问题:对引导精调的优化,之前引导精调主要使用人工处理的数据,数据量和范围都有限,本文通过示范少量引导示例,让模型自己生成引导数据对模型进行优化。经过自引导可使基础模型的GPT-3提升33%,与InstructGPT001差不多的效果。
  • 方法:自引导过程是一个迭代自举算法。在第一阶段,模型被提示为新任务生成指令。此步骤利用现有的指令集合来创建更广泛的指令定义任务;然后,在将低质量和重复的指令添加到任务池之前,使用各种措施对其进行修剪;针对许多交互重复此过程,直到生成大量任务。
  • 模型结构:Decoder结构。
  • 数据和模型规模:以GPT-3作为基础,产生大约 52k 条指令,与大约 82k 实例输入和目标输出配对。
  • 亮点:需要更少的人工标注数据
  • 论文地址:Self-Instruct: Aligning Language Model with Self Generated Instructions

4.2.3 LLaMA

  • 发布时间:2023-02-27(论文发布时间)
  • 解决问题:开源项目,以小取胜。使用更多token训练,更少的模型参数。其小模型可以运行在单GPU环境下,65B大模型可与PaLM模型效果竞争。
  • 方法:大模型在Few Shot上表现好,主要归功于大模型的参数量。本文至力于找到合适的数据量和参数量,以实现快速推理。调整模型结构,提升训练和预测速度。
  • 模型结构:Decoder结构。
  • 数据和模型规模:模型从7B-65B参数,使用T级别token训练。在训练 65B 参数模型时,代码在具有 80GB RAM 的 2048 A100 GPU。对包含 1.4T 令牌的数据集进行训练大约需要 21 天。
  • 论文地址:LLaMA: Open and Efficient Foundation Language Models

4.2.4 ColossalChat

  • 发布时间:2023-02-15
  • 解决问题:开源完整 RLHF 训练代码,已开源含7B、13B两种模型。体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足。
  • 方法:以Meta最新开源的LLaMA为基础预训练模型。用于通过完整的RLHF管道克隆ChatGPT。该管道包括监督数据收集、监督微调、奖励模型训练和强化学习微调,基于LLaMA预训练模型。它只需要不到10B个参数,就可以通过RLHF微调在中英文双语能力方面达到与ChatGPT和GPT-3.5相似的效果。
  • 模型结构:同 LLaMA
  • 数据和模型规模:英双语数据集,训练的英文一共 24M tokens,中文大约 30M tokens,总共约 54M tokens。4bit量化推理70亿参数模型仅需4GB显存。
  • 详见:源码地址 24.3K star

4.2.5 Dolly

  • 发布时间:2023-03-24(韩国公司)
  • 解决问题:Dolly是一个低成本的LLM,它采用LLaMA为基础,是具有60亿参数的开源模型。通过指令精调,使其具有了类似于ChatGPT的交互性。可以自己下载训练,开发成本仅需30美元,且开源。
  • 方法:对模型进行细微的修改,以激发服从指令的能力。斯坦福大学基于LLaMA构建了Alpaca,但不同之处在于,它利用一个包含50,000个问题和答案的小数据集进行了微调。即便对一个开源大型语言模型 GPT-J,也能通过30分钟的训练,赋予它神奇的类似ChatGPT的指令跟随能力。
  • 模型结构:同 LLaMA
  • 数据和模型规模:使用包含50,000个问题和答案的小数据集进行了微调。
  • 详见:Dolly 低成本生成式 AI

4.3 OpenAI

OpenAI 的 GPT-4 无疑是目前最好的大语言模型,从GPT到GPT-4一路走来,ChatGPT爆发,可能是我们这个时代最重要的事件之一。可能是为了保持领先,OpenAI 逐渐转换策略,不再公开具体技术,常被讽 CloseAI。
最初坚持使用单向Transformer构造大模型,现在看的确很有眼光,ChatGPT比GPT-3便宜10倍的价值,抢先占领市场,这个策略可能也是合理的。
而AI、语言模型发展到今天,也是互联网数据,软硬件,深度学习,强化学习各个领域近年高速发展和开源的结果。个人认为:无论谁都不太可能一家独大。

4.3.1 GPT-GPT3.5

  • 详见:GPT / GPT-2 / GPT-3 / InstructGPT 进化之路

4.3.2 GPT-4

  • 发布时间:2023-03-14
  • 解决问题:评测了GPT-4:一个大规模的多模态模型,可以接受图像和文本输入并产生文本输出。提升了利用知识去解决具体问题的能力。对于非常复杂的指令,GPT-4的理解能力和创造力远超3.5。
  • 方法:模型训练具体使用了互联网数据和一些三方版权数据。然后使用人类反馈强化学习 (RLHF) 对模型进行微调。
  • 模型结构:延续了GPT-3的结构
  • 数据和模型规模:报告不包含关于架构(包括模型尺寸)、硬件、训练计算、数据集构建、训练方法或类似的更多细节。
  • 亮点:实验结果
  • 论文地址:GPT-4 Technical Report

4.4 清华

2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测,GLM-130B 是亚洲唯一入选的大模型。 它准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平。
ChatGLM是GLM公开的单机版本,基本是开包即用,又是中英文双语训练的模型,对中文用户比较友好。

4.4.1 GLM

  • 发布时间:2022-01-01
  • 解决问题:通过在结构上的调整,结合了GPT和BERT类模型的优点,且模型规模和复杂度没有提升。将NLU任务转换成生成任务训练模型,使上下游任务训练方式保持一致。
  • 方法:没有一个预训练框架对自然语言理解 (NLU)、无条件生成和条件生成这三个主要类别的所有任务表现都好。GLM 基于自回归空白填充来解决这一挑战。使用了二维的位置编码,相对于T5模型有更少的参数,差不多的效果。一个模型同时支持NLU和文本生成,所以是多任务的训练。
  • 模型结构:GLM基于自回归的空白填充。从输入文本中随机删除连续的token(自编码),并训练模型以顺序重建删除的token(自回归)。
  • 数据和模型规模:使用BERT/RoBERT 几种模型大小相同的数据训练模型,以保证对比的公平性。
  • 论文地址:GLM: General Language Model Pretraining with Autoregressive Blank Infilling

4.4.2 ChatGLM

  • 发布时间:2023-01-01
  • 解决问题:开源,并针对中文进行了优化,尤其是可以在自己的机器上搭建其简版的int4服务,实测回答一般性问题效果还不错。
  • 方法:ChatGLM是使用中英双语预训练的大语言模型,在稳定性和性能方面进行了调优。在模型结构上结合了GPT和BERT。在英文方面,效果优于GPT-3;在中文方面,优于260B参数的ERNIE TITAN 3.0。可在4×RTX 3090 (24G) 或 8×RTX 2080 Ti (11G) GPUs 环境下运行。
    不仅包括自监督的GLM自回归空白填充,还包括对小部分token的多任务学习,以提升其下游zero-shot任务的性能。
  • 模型结构:同GLM。
  • 数据和模型规模:具有130B参数(1300亿),包括1.2 T英语、1.0 T的中文悟道语料库,以及从网络爬取的250G中文语料库(包括在线论坛、百科全书和QA),形成了平衡的英汉内容构成。
  • 亮点:搭建方法
  • 论文地址:GLM-130B: AN OPEN BILINGUAL PRE-TRAINED

4.5 DeepMind

DeepMind 围绕提升模型性能展开研究,其研究为后继的模型精减和优化,和更广阔的使用场景奠定了基础。

4.5.1 Gopher

  • 发布时间:2021-12-08
  • 解决问题:经过实验得出结论:任何学术科目,连同一般知识,通过模型改进模型规模都能提升其效果,但规模对逻辑推理、常识和数学任务的好处较少。
  • 方法:DeepMind 训练了 6 个不同大小的模型,从 44M 参数到 280B 参数的 Gopher 模型,进行比较,他们在一组 152 个任务上评估了模型,Gopher 打破了 100 项记录。
  • 模型结构:Decoder结构。
  • 数据和模型规模:10.5TB语料库上进行训练,280 B参数。
  • 论文地址:Scaling Language Models: Methods, Analysis & Insights from Training Gopher

4.5.2 Chinchillla

  • 发布时间:2022-03-29
  • 解决问题:针对训练数据量,模型参数量,以及数据训练量,得出结论:更长的训练时间,更多token,能提升模型效果;大模型的参数量和性能之间存在幂律分布。
  • 方法:在 5 到 5000 亿个标记上训练 400 多个语言模型,范围从 7000 万到超过 160 亿个参数,把参数量和数据规模加入Loss的惩罚。在运算量固定的情况下,如何选择参数和token量的配比,使损失函数最小;它对Gopher的进行调整,将模型大小变为其1/4,token变为其4倍,与Gopher计算量基本一致。
  • 模型结构:同Gopher
  • 数据和模型规模:10.5TB语料库上进行训练,70B模型参数。
  • 论文地址:Training Compute-Optimal Large Language Models

4.6 MicroSoft

本月微软发布的两篇文章(2023年03月),相对偏具体的应用场景,以及语言模型和其它(如图片)数据相结合实现的应用效果,尽管把文本和图本映射到同一嵌入空间;通过调整提示调用ChatGPT和图像修改工具,并不是首次提出,但是实现的效果还是很炫酷有趣的。

4.6.1 Visual ChatGPT

  • 发布时间:2023-03-08
  • 解决问题:在ChatGPT和图像构建方法间做了桥接,和其它模型相比,除了利用大语言模型中的知识,还利用了ChatGPT强化学习带来的能力,
  • 方法:主要对聊天的场景进行优化,在提示上作文章。即:在ChatGPT外边包了一层,这也是当前最常见的用法,文章偏工程化的具体实现。将CoT的潜力扩展到大规模任务,包括但不限于文本生成高清图像、图像到图像的翻译、图像到文本的生成等。
  • 模型结构:主要组合调用现有模型,设计了一个Prompt Manager,其中涉及22个不同的虚拟功能矩阵,并定义了它们之间的内部关联,以便更好地交互和组合。
  • 数据和模型规模:(OpenAI “text-davinci-003” version)
  • 论文地址:Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

4.6.2 Kosmos-1

  • 发布时间:2023-03-01
  • 解决问题:主要研究视觉和文本领域的对齐,具体应用是看图回答问题。KOSMOS - 1是一种多模态语言模型,能够感知通用模态、遵循指令、在语境中学习并产生输出。
  • 方法:也没太说具体是怎么做的,主要是提出概念,展示能力。
  • 模型结构:包含单模态数据和多模态数据。使用单模态数据进行表示学习。例如,利用文本数据进行语言建模预训练指令跟随、语境学习、各种语言任务等。此外,用跨模态对和交错数据学习将一般模态的感知与语言模型对齐。
  • 数据和模型规模:1.3 B的参数。
  • 亮点:应用场景:回答图片智力题,直接OCR 备2_论文阅读_Kosmos-1
  • 论文地址:Language Is Not All You Need: Aligning Perception with Language Models

4.7 其它大模型

还有一些大语言模型也有着里程碑的意义,比如:MT-NLG 530B,当时首次把模型扩展到 500+B的量级,示范了训练单体超大模型的方法;又如 BLOOM 是一个开放的模型,任何人都可以从Hugging Face网站免费下载它进行研究。它们也常常在其它文章中用作模型对比的基线。

4.7.1 Megatron–Turing NLG(威震天-图灵,MT-NLG 530B)

  • 发布时间:2021年10月
  • 解决问题:英伟达和微软合作训练模型,示范了训练单体超大模型的方法,
  • 方法:4480块A100训练,DeepSpeed & Megatron 三维并行训练技术。DeepSpeed 是一个深度学习优化库,让分布式训练变得简单、高效且有效,Megatron-LM 是由 NVIDIA 的应用深度学习研究团队开发的大型、强大的 transformer 模型框架。
  • 模型结构:Decoder结构。
  • 数据和模型规模:530 B 参数
  • 论文地址:Using DeepSpeed and Megatron to Train Megatron-Turing NLG
    530B, A Large-Scale Generative Language Model

4.7.2 BLOOM

  • 发布时间:模型的训练于 2022 年 3 月至 7 月期间,耗时约 3.5 个月完成,在2022年11月上传arxiv。
  • 解决问题:Hugging Face 联合创始人发起,多方联合,BigScience 的研究人员发布的开源模型。BLOOM最大的特点在于可访问性,任何人都可以从Hugging Face网站免费下载它进行研究。
  • 方法:Megatron & DeepSpeed 训练。
  • 模型结构:Decoder结构。
  • 数据和模型规模: 176 B参数,1.5TB 经过大量去重和清洗的文本,包含 46 种语言,最终转换为 350B token。
  • 论文地址:BLOOM: A 176B-Parameter Open-Access Multilingual
    Language Model

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/41897.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt赋能python:Python中怎么打开图片

Python中怎么打开图片 在Python中,打开并处理图片是常见的任务。本文将介绍如何使用Python打开和显示图像文件,以及一些其他关于处理图像的有用技巧。 打开图片 Python提供了许多库来处理图片。其中最流行的是Pillow和OpenCV,但是还有其他…

chatgpt赋能python:使用Python修改照片属性:让你的照片更美丽

使用Python修改照片属性:让你的照片更美丽 介绍 随着数字摄影的发展,人们不再满足于只是拍照,更追求照片的美感和创意。虽然相机和手机等设备都已经默认提供了各种滤镜和编辑功能,但有时它们并不能满足我们的要求。那么&#xf…

独家 | Scikit-LLM:Sklearn邂逅大语言模型

作者:Fareed Khan翻译:陈之炎 校对:赵茹萱本文约2600字,建议阅读8分钟 本文为您介绍文本分析的工具包Scikit-LLM。 标签:LLM Scikit-LLM是文本分析的游戏规则改变者,它将功能强大的ChatGPT语言模型和scikit…

LLM应用的技术栈与设计模式详解

大型语言模型是构建软件的强大新原语。 但由于它们是如此新,并且其行为与普通计算资源如此不同,因此如何使用它们并不总是显而易见的。 在这篇文章中,我们将分享新兴 LLM 应用程序的参考架构。 它展示了我们所见过的人工智能初创公司和先进科…

GPT模型微调教程:打造您专属的ChatGPT模型

一、前言 通过前面对大语言模型的介绍,我们了解到,其实像目前已经发布的一些主流大语言模型如OpenAI公司发布的的GPT-3.5、GPT-4、Google发布的Bard和PaLM 2多模态模型、Anthropic最近推出的Claude 2、亦或是国内清华大学联合智普AI发布的ChatGLM 2等都…

[AI医学] ChatDoctor:借助医学知识库生成微调样本构建医疗领域大模型

关键词:AI医疗,医疗大模型,chatdoctor,大模型finetuning,基于疾病知识库的数据生成 ChatDoctor 在LLaMA模型的基础上进行fine tuning训练,样本数据采用100k在线真实医患对话,同时加入自主知识…

LLM/ChatGPT与多模态必读论文150篇(已更至第100篇)

目录 前言 第一部分 OpenAI/Google的基础语言大模型(11篇,总11篇) 第二部分 LLM的关键技术:ICL/CoT/RLHF/词嵌入/位置编码/加速/与KG结合等(34篇,总45篇) 第三部分 Meta等公司发布的类ChatGPT开源模型和各种微调(7篇,总52篇) …

讲课大师 把微信消息同步转发到企业微信中

讲课大师现在可以把微信中的语音、文字、图片等消息,转播到企业微信中了。开发这个功能,花了快三周的时间,主要是各种事情把我弄得太苦逼,让我无法集中精力,感谢上海杜总红包的鼓励,现在终于可以发布第一个…

好文转载 【ChatGPT】ChatGPT+MindShow三分钟生成PPT

Yan-英杰的主页 悟已往之不谏 知来者之可追 C程序员,2024届电子信息研究生 目录 第一步:获取PPT内容大概: 1.打开ChatGPT镜像 2.向他提问,提问格式如下,主题替换成你想获得的信息。比如某本书的拆解,自媒…

全面上新!阿里 2023 版(Java 岗)面试突击手册,Github 已标星 37K

程序员面试背八股,几乎已经是互联网不可逆的一个形式了。自从面试**八股文火了之后,网上出现了不少 Java 相关的面试题,很多朋友盲目收集背诵,**但网上大部分的面试题,大多存在这几个问题:第一,…

来阿里一年后我迎来了第一次工作变动....

你怎么不更新啦?怎么最近动态也变少啦?都去干吗了?工作很忙么? 算起来我也阶段性停更一年半了,这一年半不仅是在不断尝试自媒体不同的内容和方向,工作上的巨大转变也推着我去学习尝试了很多全新的东西。 …

阿里P8新年自爆内部使用的十万字面试手册

这份面试手册本来是我们部门面试时自用的【大厂的员工很辛苦的,不仅要敲代码还要去帮忙内推和面试】,可后来越来越多的朋友找到我,让我帮他们给一些面试的资料和面试上的指引,而且这些关系也不太好拒绝,我本就不是那种…

946页神仙文档, 四面阿里斩获offer,直接定级P7级

前言 最近气温逐渐回暖,几个朋友聚在一起聊天的时候统一发现,新的一波招聘旺季,马上要到来,毕竟年一过就金三银四了,这次的招聘依旧竞争压力山大,作为一个开发人员,你是否面上了自己理想的公司…

阿里高效沟通的秘密:向上沟通,跨部门沟通,PREP汇报...这5招绝了!

点击“技术领导力”关注∆ 每天早上8:30推送 来源:淘系技术 作者:鲁佳(鹿迦) 世界上有两件最难的事:把别人的钱装进自己的口袋;把自己的思想装进别人的脑袋。 为什么沟通那么重要 谁都知道在工作中沟通是非常重要的&#xff0…

阿里巴巴6大行业报告免费分享啦!

云栖君导读:飞天战略营将全方位研究人工智能、大数据与关键行业的合作、联动!更有前沿案例深度解读成功企业的发展突破点,帮你抢占科技红利!全球前沿科技领域的热门新闻评论为你带来前瞻性、专业性的阅读体验! 飞天战略…

聊聊我在阿里第一年375晋升的心得

前言 思来想去,觉得这个事情除了领导赏识大佬抬爱之外,还是挺不容易的,主观认为有一定的参考价值,然后也是复盘一下,继续完善自己。 绩效 首先晋升的条件就是要有个好绩效,那么我们就先基于绩效这个维度…

在阿里晋升3次,4年拿下P8岗位,这份pdf或许对你有帮助

前言: 每一个互联网工作者都拥有一个阿里梦,而这个阿里梦的实现,除了幸运,还要靠努力。 初入阿里,是P5的位置进去的,当时校招顺利,很快就接到阿里的意向书,最后成功入职阿里。这个职…

在阿里晋升3次,5年拿下P8岗位,这份pdf记录了我的整个成长过程

前言: 每一个互联网工作者都拥有一个阿里梦,而这个阿里梦的实现,除了幸运,还要靠努力。 初入阿里,是P5的位置进去的,当时校招顺利,很快就接到阿里的意向书,最后成功入职阿里。这个职…

公司新来的阿里p8,看了我做的APP和接口测试,甩给了我这份文档

移动应用App已经渗透到每个人的生活、娱乐、学习、工作当中,令人激动、兴奋且具有创造性的各种App犹如雨后春笋般交付到用户手中。各类智能终端也在快速发布,而开发者对于全球移动设备的质量和性能却掌握甚少,App与设备的兼容性问题常常导致用…

苦卷28天,阿里P8给我的Alibaba面试手册,终于成功踹开字节大门

怎么说呢,今年真的是寒气逼人啊!在这个大环境下,裁员已经不算是特别的事情,粗暴裁员也许是未来一种趋势…在职的卷的起飞,离职的找不到好工作。 做点能做的:跑跑步骑骑车多锻炼;当当上面正版书…