LLMs:大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用

LLMs:大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用和限制(Encoder-only、Encoder-Decoder、Decoder-only)

目录

大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)

大型语言模型进化树结构图

一、模型的实用指南:BERT-style/GPT-style

1.1、BERT-style 的语言模型:编码器-解码器或仅编码器

1.2、GPT-style的语言模型:仅解码器

二、数据实用指南:预训练数据/微调数据/测试数据

2.1、预训练数据

2.2、微调数据

2.3、测试数据/用户数据

三、自然语言处理任务的实用指南:NLP五大任务+效率+可信度+基准指令调优+对齐

3.1、传统的NLU任务

3.2、生成任务

3.3、知识密集型任务

3.4、随着规模增长的能力

3.5、特定任务

3.6、现实世界的任务

3.7、效率Efficiency

3.7.1、成本Cost

3.7.2、延迟Latency

3.7.3、参数高效微调Parameter-Efficient Fine-Tuning

3.7.4、预训练系统Pretraining System

3.8、可信度Trustworthiness

3.8.1、鲁棒性和校准性Robustness and Calibration

3.8.2、虚假偏见Spurious biases

3.8.3、安全问题Safety issues

3.9、基准指令调优Benchmark Instruction Tuning

3.10、对齐Alignment

3.10.1、安全对齐(无害)Safety Alignment (Harmless)

3.10.2、真实对齐(诚实) Truthfulness Alignment (Honest)

3.10.3、指导实践(有帮助)Practical Guides for Prompting (Helpful)

3.10.4、开源社区的对齐努力Alignment Efforts of Open-source Communtity

四、三大类模型的使用和限制:Encoder-only、Encoder-Decoder、Decoder-only

4.1、Encoder-only

4.2、Encoder-Decoder

4.3、Decoder-only


大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)NLP任务(五大任务+效率+可信度+基准指令调优+对齐)

大型语言模型进化树结构图

        该列表基于我们的调研论文《在实践中利用LLMs的威力:关于ChatGPT及其后续发展的调研》,以及@xinyadu的努力。该调研部分基于这篇博客的后半部分。我们还构建了一个现代大型语言模型(LLMs)的演化树,以追踪近年来语言模型的发展,并突出了一些最知名的模型。
        这些资源旨在帮助从业者在大型语言模型(LLMs)及其在自然语言处理(NLP)应用中的应用方面进行导航。我们还根据模型和数据许可信息包括它们的使用限制。如果您发现我们仓库中的任何资源有帮助,请随意使用(不要忘记引用我们的论文!���)。我们欢迎拉取请求来完善这个图表!

GitHub:GitHub - Mooler0410/LLMsPracticalGuide: A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)

一、模型的实用指南:BERT-style/GPT-style

1.1、BERT-style 的语言模型:编码器-解码器或仅编码器

  • BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018, Paper
  • RoBERTa RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019, Paper
  • DistilBERT DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, 2019, Paper
  • ALBERT ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019, Paper
  • UniLM Unified Language Model Pre-training for Natural Language Understanding and Generation, 2019 Paper
  • ELECTRA ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS, 2020, Paper
  • T5 "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer"Colin Raffel et al. JMLR 2019. Paper
  • GLM "GLM-130B: An Open Bilingual Pre-trained Model". 2022. Paper
  • AlexaTM "AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model"Saleh Soltan et al. arXiv 2022. Paper
  • ST-MoE ST-MoE: Designing Stable and Transferable Sparse Expert Models. 2022 Paper

BERT BERT:用于语言理解的深度双向转换器的预训练,2018年

RoBERTa RoBERTa:一种优化稳健的BERT预训练方法,2019年

DistilBERT DistilBERT:BERT的精简版本:更小、更快、更便宜、更轻巧,2019年

ALBERT ALBERT:一种轻量级的自监督学习语言表示方法,2019年

UniLM 统一语言模型预训练用于自然语言理解和生成,2019年

ELECTRA ELECTRA:将文本编码器作为判别器而非生成器进行预训练,2020年

T5 "探索具有统一文本到文本Transformer的迁移学习的极限"。Colin Raffel等人,JMLR 2019年

GLM "GLM-130B:一种开放的双语预训练模型",2022年

AlexaTM "AlexaTM 20B:使用大规模多语言Seq2Seq模型进行少样本学习"。Saleh Soltan等人,arXiv 2022年

ST-MoE ST-MoE:设计稳定且可转移的稀疏专家模型。2022年

1.2、GPT-style的语言模型:仅解码器

  • GPT Improving Language Understanding by Generative Pre-Training. 2018. Paper
  • GPT-2 Language Models are Unsupervised Multitask Learners. 2018. Paper
  • GPT-3 "Language Models are Few-Shot Learners". NeurIPS 2020. Paper
  • OPT "OPT: Open Pre-trained Transformer Language Models". 2022. Paper
  • PaLM "PaLM: Scaling Language Modeling with Pathways"Aakanksha Chowdhery et al. arXiv 2022. Paper
  • BLOOM "BLOOM: A 176B-Parameter Open-Access Multilingual Language Model". 2022. Paper
  • MT-NLG "Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model". 2021. Paper
  • GLaM "GLaM: Efficient Scaling of Language Models with Mixture-of-Experts". ICML 2022. Paper
  • Gopher "Scaling Language Models: Methods, Analysis & Insights from Training Gopher". 2021. Paper
  • chinchilla "Training Compute-Optimal Large Language Models". 2022. Paper
  • LaMDA "LaMDA: Language Models for Dialog Applications". 2021. Paper
  • LLaMA "LLaMA: Open and Efficient Foundation Language Models". 2023. Paper
  • GPT-4 "GPT-4 Technical Report". 2023. Paper
  • BloombergGPT BloombergGPT: A Large Language Model for Finance, 2023, Paper
  • GPT-NeoX-20B: "GPT-NeoX-20B: An Open-Source Autoregressive Language Model". 2022. Paper

GPT 通过生成式预训练改进语言理解。2018年

GPT-2 语言模型是无监督多任务学习者。2018年

GPT-3 "语言模型是少样本学习者"。NeurIPS 2020年

OPT "OPT:开放预训练转换器语言模型"。2022年

PaLM "PaLM:通过路径扩展语言建模"。Aakanksha Chowdhery等人,arXiv 2022年

BLOOM "BLOOM:一种拥有176B参数的开放式多语言语言模型"。2022年

MT-NLG "使用DeepSpeed和Megatron训练Megatron-Turing NLG 530B,一种大规模生成语言模型"。2021年

GLaM "GLaM:通过专家混合实现语言模型的高效扩展"。ICML 2022年

Gopher "扩展语言模型:方法、分析和Gopher训练见解"。2021年

chinchilla "训练计算优化的大型语言模型"。2022年

LaMDA "LaMDA:用于对话应用的语言模型"。2021年

LLaMA "LLaMA:开放和高效的基础语言模型"。2023年

GPT-4 "GPT-4技术报告"。2023年

BloombergGPT BloombergGPT:一种面向金融领域的大型语言模型,2023年

GPT-NeoX-20B:"GPT-NeoX-20B:一种开源自回归语言模型"。2022年

二、数据实用指南预训练数据/微调数据/测试数据

2.1、预训练数据

  • RedPajama, 2023. Repo
  • The Pile: An 800GB Dataset of Diverse Text for Language Modeling, Arxiv 2020. Paper
  • How does the pre-training objective affect what large language models learn about linguistic properties?, ACL 2022. Paper
  • Scaling laws for neural language models, 2020. Paper
  • Data-centric artificial intelligence: A survey, 2023. Paper
  • How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources, 2022. Blog

RedPajama,2023年,代码库

The Pile:一份用于语言建模的800GB多样化文本数据集,Arxiv 2020年

预训练目标如何影响大型语言模型对语言属性的学习?ACL 2022年

神经语言模型的扩展定律,2020年

以数据为中心的人工智能:一份调查,2023年

GPT如何获得其能力?追踪语言模型的新兴能力源自何处,2022年,博客

2.2、微调数据

  • Benchmarking zero-shot text classification: Datasets, evaluation and entailment approach, EMNLP 2019. Paper
  • Language Models are Few-Shot Learners, NIPS 2020. Paper
  • Does Synthetic Data Generation of LLMs Help Clinical Text Mining? Arxiv 2023 Paper

基于零样本文本分类的基准测试:数据集、评估和蕴含方法,EMNLP 2019年

语言模型是少样本学习者,NIPS 2020年

合成数据生成对临床文本挖掘有帮助吗?Arxiv 2023年

2.3、测试数据/用户数据

  • Shortcut learning of large language models in natural language understanding: A survey, Arxiv 2023. Paper
  • On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective Arxiv, 2023. Paper
  • SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems Arxiv 2019. Paper

自然语言理解中大型语言模型的快捷学习:一份调查,Arxiv 2023年

关于ChatGPT的鲁棒性:从对抗和分布外的角度看,Arxiv 2023年

SuperGLUE:一项用于通用语言理解系统的更具挑战性的基准测试,Arxiv 2019年

三、自然语言处理任务的实用指南NLP五大任务+效率+可信度+基准指令调优+对齐

我们为用户的自然语言处理(NLP)应用程序构建了一个决策流程,用于选择LLMs或经过微调的模型\protect\footnotemark。该决策流程帮助用户评估他们手头的下游NLP应用程序是否满足特定条件,并基于该评估确定LLMs或经过微调的模型是否是他们应用程序的最佳选择。

3.1、传统的NLU任务

  • A benchmark for toxic comment classification on civil comments dataset Arxiv 2023 Paper
  • Is chatgpt a general-purpose natural language processing task solver? Arxiv 2023Paper
  • Benchmarking large language models for news summarization Arxiv 2022 Paper

Civil Comments数据集上有害评论分类的基准 Arxiv 2023 

ChatGPT是否是一个通用的自然语言处理任务求解器?Arxiv 2023 

大型语言模型在新闻摘要中的基准测试Arxiv 2022  

3.2、生成任务

  • News summarization and evaluation in the era of gpt-3 Arxiv 2022 Paper
  • Is chatgpt a good translator? yes with gpt-4 as the engine Arxiv 2023 Paper
  • Multilingual machine translation systems from Microsoft for WMT21 shared task, WMT2021 Paper
  • Can ChatGPT understand too? a comparative study on chatgpt and fine-tuned bert, Arxiv 2023, Paper

在GPT-3时代的新闻摘要和评估 Arxiv 2022 

ChatGPT是否是一个好的翻译器?是的,使用GPT-4作为引擎Arxiv 2023  

微软的多语言机器翻译系统用于WMT21共享任务,WMT2021  

ChatGPT能够理解吗?关于ChatGPT和经过微调的BERT的对比研究Arxiv 2023  

3.3、知识密集型任务

  • Measuring massive multitask language understanding, ICLR 2021 Paper
  • Beyond the imitation game: Quantifying and extrapolating the capabilities of language models, Arxiv 2022 Paper
  • Inverse scaling prize, 2022 Link
  • Atlas: Few-shot Learning with Retrieval Augmented Language Models, Arxiv 2022 Paper
  • Large Language Models Encode Clinical Knowledge, Arxiv 2022 Paper

测量大规模多任务语言理解 ICLR 2021 

超越模仿游戏:量化和推断语言模型的能力 Arxiv 2022 

Inverse scaling prize, 2022 链接

Atlas: 带有检索增强的少样本学习语言模型Arxiv 2022  

大型语言模型编码临床知识,Arxiv 2022  

3.4、随着规模增长的能力

  • Training Compute-Optimal Large Language Models, NeurIPS 2022 Paper
  • Scaling Laws for Neural Language Models, Arxiv 2020 Paper
  • Solving math word problems with process- and outcome-based feedback, Arxiv 2022 Paper
  • Chain of thought prompting elicits reasoning in large language models, NeurIPS 2022 Paper
  • Emergent abilities of large language models, TMLR 2022 Paper
  • Inverse scaling can become U-shaped, Arxiv 2022 Paper
  • Towards Reasoning in Large Language Models: A Survey, Arxiv 2022 Paper

训练计算优化的大型语言模型 NeurIPS 2022 

神经网络语言模型的缩放定律,Arxiv 2020  

使用基于过程和结果的反馈解决数学问题,Arxiv 2022  

思维链引导引发大型语言模型的推理,NeurIPS 2022  

大型语言模型的新兴能力,TMLR 2022  

Inverse scaling可能呈U形,Arxiv 2022 

走向大型语言模型的推理:一项调查,Arxiv 2022  

3.5、特定任务

  • Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks, Arixv 2022 Paper
  • PaLI: A Jointly-Scaled Multilingual Language-Image Model, Arxiv 2022 Paper
  • AugGPT: Leveraging ChatGPT for Text Data Augmentation, Arxiv 2023 Paper
  • Is gpt-3 a good data annotator?, Arxiv 2022 Paper
  • Want To Reduce Labeling Cost? GPT-3 Can Help, EMNLP findings 2021 Paper
  • GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation, EMNLP findings 2021 Paper
  • LLM for Patient-Trial Matching: Privacy-Aware Data Augmentation Towards Better Performance and Generalizability, Arxiv 2023 Paper
  • ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks, Arxiv 2023 Paper
  • G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Arxiv 2023 Paper
  • GPTScore: Evaluate as You Desire, Arxiv 2023 Paper
  • Large Language Models Are State-of-the-Art Evaluators of Translation Quality, Arxiv 2023 Paper
  • Is ChatGPT a Good NLG Evaluator? A Preliminary Study, Arxiv 2023 Paper

图像作为外语:针对所有视觉和视觉-语言任务的BEiT预训练模型 Arixv 2022 

PaLI:一个联合缩放的多语言语言-图像模型,Arxiv 2022  

AugGPT:利用ChatGPT进行文本数据增强 Arxiv 2023 

GPT-3是否是一个好的数据标注器?Arxiv 2022  

想要降低标注成本吗?GPT-3可以帮助,EMNLP findings 2021  

GPT3Mix:利用大规模语言模型进行文本增强,EMNLP findings 2021  

LLM用于患者-试验匹配:隐私感知的数据增强以提高性能和普适性,Arxiv 2023  

ChatGPT在文本注释任务中胜过众包工作者,Arxiv 2023  

G-Eval:使用GPT-4进行自然语言生成评估,Arxiv 2023  

GPTScore:根据需求进行评估,Arxiv 2023  

大型语言模型是翻译质量的最先进评估器,Arxiv 2023  

ChatGPT是一个好的自然语言生成评估器吗?初步研究,Arxiv 2023  

3.6、现实世界的任务

  • Sparks of Artificial General Intelligence: Early experiments with GPT-4, Arxiv 2023 Paper

人工通用智能的火花:GPT-4的初步实验 Arxiv 2023 

3.7、效率Efficiency

3.7.1、成本Cost

  • Openai’s gpt-3 language model: A technical overview, 2020. Blog Post
  • Measuring the carbon intensity of ai in cloud instances, FaccT 2022. Paper
  • In AI, is bigger always better?, Nature Article 2023. Article
  • Language Models are Few-Shot Learners, NeurIPS 2020. Paper
  • Pricing, OpenAI. Blog Post

OpenAI的GPT-3语言模型:技术概述,2020年博客文章 

测量云计算实例中人工智能的碳强度,FaccT 2022  

在人工智能领域,更大是否总是更好?,2023年自然文章 

语言模型是少样本学习器,NeurIPS 2020  

定价,OpenAI博客文章 

3.7.2、延迟Latency

  • HELM: Holistic evaluation of language models, Arxiv 2022. Paper

HELM:语言模型的全面评估,Arxiv 2022  

3.7.3、参数高效微调Parameter-Efficient Fine-Tuning

  • LoRA: Low-Rank Adaptation of Large Language Models, Arxiv 2021. Paper
  • Prefix-Tuning: Optimizing Continuous Prompts for Generation, ACL 2021. Paper
  • P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks, ACL 2022. Paper
  • P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks, Arxiv 2022. Paper

LoRA:大型语言模型的低秩适应,Arxiv 2021  

Prefix-Tuning:优化生成任务的连续提示,ACL 2021  

P-Tuning:在规模和任务上,提示调优可以与微调相媲美,ACL 2022  

P-Tuning v2:在各种规模和任务上,提示调优可以与微调普遍相媲美,Arxiv 2022  

3.7.4、预训练系统Pretraining System

  • ZeRO: Memory Optimizations Toward Training Trillion Parameter Models, Arxiv 2019. Paper
  • Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Arxiv 2019. Paper
  • Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM, Arxiv 2021. Paper
  • Reducing Activation Recomputation in Large Transformer Models, Arxiv 2021. Paper

ZeRO:向训练万亿参数模型进行内存优化,Arxiv 2019  

Megatron-LM:使用模型并行性训练数十亿参数的语言模型,Arxiv 2019  

使用Megatron-LM在GPU集群上进行高效的大规模语言模型训练,Arxiv 2021  

减少大型Transformer模型中的激活重新计算,Arxiv 2021  

3.8、可信度Trustworthiness

3.8.1、鲁棒性和校准性Robustness and Calibration

  • Calibrate before use: Improving few-shot performance of language models, ICML 2021. Paper
  • SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization, Arxiv 2023. Paper

在使用之前进行校准:改善语言模型的少样本性能,ICML 2021  

SPeC:软提示为基础的临床记录摘要中的校准,缓解性能变异性,Arxiv 2023  

3.8.2、虚假偏见Spurious biases

  • Shortcut learning of large language models in natural language understanding: A survey, 2023 Paper
  • Mitigating gender bias in captioning system, WWW 2020 Paper
  • Calibrate Before Use: Improving Few-Shot Performance of Language Models, ICML 2021 Paper
  • Shortcut Learning in Deep Neural Networks, Nature Machine Intelligence 2020 Paper
  • Do Prompt-Based Models Really Understand the Meaning of Their Prompts?, NAACL 2022 Paper

自然语言理解中大型语言模型的快捷学习:一项调查,2023  

减轻字幕系统中的性别偏见,WWW 2020  

在使用之前进行校准:改善语言模型的少样本性能,ICML 2021  

深度神经网络的快捷学习,Nature Machine Intelligence 2020  

基于提示的模型真的理解其提示的含义吗?,NAACL 2022  

3.8.3、安全问题Safety issues

  • GPT-4 System Card, 2023 Paper
  • The science of detecting llm-generated texts, Arxiv 2023 Paper
  • How stereotypes are shared through language: a review and introduction of the aocial categories and stereotypes communication (scsc) framework, Review of Communication Research, 2019 Paper
  • Gender shades: Intersectional accuracy disparities in commercial gender classification, FaccT 2018 Paper

GPT-4系统卡片,2023  

检测LLM生成文本的科学,Arxiv 2023  

通过语言分享刻板印象:社会类别和刻板印象传播(SCSC)框架的回顾和介绍,Review of Communication Research,2019  

性别影子:商业性别分类中的交叉准确性差异,FaccT 2018  

3.9、基准指令调优Benchmark Instruction Tuning

  • FLAN: Finetuned Language Models Are Zero-Shot Learners, Arxiv 2021 Paper
  • T0: Multitask Prompted Training Enables Zero-Shot Task Generalization, Arxiv 2021 Paper
  • Cross-task generalization via natural language crowdsourcing instructions, ACL 2022 Paper
  • Tk-INSTRUCT: Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks, EMNLP 2022 Paper
  • FLAN-T5/PaLM: Scaling Instruction-Finetuned Language Models, Arxiv 2022 Paper
  • The Flan Collection: Designing Data and Methods for Effective Instruction Tuning, Arxiv 2023 Paper
  • OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization, Arxiv 2023 Paper

FLAN:微调语言模型是零样本学习器,Arxiv 2021  

T0:多任务提示训练实现零样本任务泛化,Arxiv 2021  

通过自然语言众包指令实现跨任务泛化,ACL 2022  

Tk-INSTRUCT:超自然指令:通过1600+ NLP任务的声明性指令实现泛化,EMNLP 2022  

FLAN-T5/PaLM:扩展指令微调语言模型,Arxiv 2022  

Flan集合:设计数据和方法以实现有效的指令调优,Arxiv 2023  

OPT-IML:通过泛化视角扩展语言模型指令元学习,Arxiv 2023  

3.10、对齐Alignment

  • Deep Reinforcement Learning from Human Preferences, NIPS 2017 Paper
  • Learning to summarize from human feedback, Arxiv 2020 Paper
  • A General Language Assistant as a Laboratory for Alignment, Arxiv 2021 Paper
  • Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, Arxiv 2022 Paper
  • Teaching language models to support answers with verified quotes, Arxiv 2022 Paper
  • InstructGPT: Training language models to follow instructions with human feedback, Arxiv 2022 Paper
  • Improving alignment of dialogue agents via targeted human judgements, Arxiv 2022 Paper
  • Scaling Laws for Reward Model Overoptimization, Arxiv 2022 Paper
  • Scalable Oversight: Measuring Progress on Scalable Oversight for Large Language Models, Arxiv 2022 Paper

从人类偏好中进行深度强化学习,NIPS 2017  

从人类反馈中学习总结,Arxiv 2020  

作为对齐实验室的通用语言助手,Arxiv 2021  

通过从人类反馈中进行强化学习训练一个有帮助且无害的助手,Arxiv 2022  

教导语言模型通过验证的引用支持答案,Arxiv 2022  

InstructGPT:通过人类反馈训练语言模型遵循指令,Arxiv 2022  

通过有针对性的人类判断提高对话代理的对齐,Arxiv 2022  

奖励模型过度优化的规模定律,Arxiv 2022  

可扩展监督:衡量大型语言模型可扩展监督的进展,Arxiv 2022  

3.10.1、安全对齐(无害)Safety Alignment (Harmless)

  • Red Teaming Language Models with Language Models, Arxiv 2022 Paper
  • Constitutional ai: Harmlessness from ai feedback, Arxiv 2022 Paper
  • The Capacity for Moral Self-Correction in Large Language Models, Arxiv 2023 Paper
  • OpenAI: Our approach to AI safety, 2023 Blog

使用语言模型对抗语言模型,Arxiv 2022  

宪法AI:通过AI反馈实现无害性,Arxiv 2022  

大型语言模型的道德自我修正能力,Arxiv 2023  

OpenAI:我们对AI安全的方法,2023博客 

3.10.2、真实对齐(诚实) Truthfulness Alignment (Honest)

  • Reinforcement Learning for Language Models, 2023 Blog

语言模型的强化学习,2023博客 

3.10.3、指导实践(有帮助)Practical Guides for Prompting (Helpful)

  • OpenAI Cookbook. Blog
  • Prompt Engineering. Blog
  • ChatGPT Prompt Engineering for Developers! Course

OpenAI食谱。博客

提示工程。博客

开发人员的ChatGPT提示工程!课程

3.10.4、开源社区的对齐努力Alignment Efforts of Open-source Communtity

  • Self-Instruct: Aligning Language Model with Self Generated Instructions, Arxiv 2022 Paper
  • Alpaca. Repo
  • Vicuna. Repo
  • Dolly. Blog
  • DeepSpeed-Chat. Blog
  • GPT4All. Repo
  • OpenAssitant. Repo
  • ChatGLM. Repo
  • MOSS. Repo
  • Lamini. Repo/Blog

自我指导:用自动生成的指令对齐语言模型,Arxiv 2022  

四、三大类模型的使用和限制:Encoder-only、Encoder-Decoder、Decoder-only

我们从模型及其预训练数据的角度提供信息。我们敦促社区中的用户参考公共模型和数据的许可信息,并负责任地使用它们。我们敦促开发者特别注意许可证的问题,使其透明且全面,以防止任何不必要和意外的使用情况。

4.1、Encoder-only

LLMs

Model

Data

License

Commercial Use

Other noteable restrictions

License

Corpus

BERT series of models (general domain)

Apache 2.0

Public

BooksCorpus, English Wikipedia

RoBERTa

MIT license

Public

BookCorpus, CC-News, OpenWebText, STORIES

ERNIE

Apache 2.0

Public

English Wikipedia

SciBERT

Apache 2.0

Public

BERT corpus, 1.14M papers from Semantic Scholar

LegalBERT

CC BY-SA 4.0

Public (except data from the Case Law Access Project)

EU legislation, US court cases, etc.

BioBERT

Apache 2.0

PubMed

PubMed, PMC

4.2、Encoder-Decoder

License

Commercial Use

Other noteable restrictions

License

Corpus

T5

Apache 2.0

Public

C4

Flan-T5

Apache 2.0

Public

C4, Mixture of tasks (Fig 2 in paper)

BART

Apache 2.0

Public

RoBERTa corpus

GLM

Apache 2.0

Public

BooksCorpus and English Wikipedia

ChatGLM

ChatGLM License

No use for illegal purposes or military research, no harm the public interest of society

N/A

1T tokens of Chinese and English corpus

4.3、Decoder-only

License

Commercial Use

Other noteable restrictions

License

Corpus

GPT2

Modified MIT License

Use GPT-2 responsibly and clearly indicate your content was created using GPT-2.

Public

WebText

GPT-Neo

MIT license

Public

Pile

GPT-J

Apache 2.0

Public

Pile

---> Dolly

CC BY NC 4.0

CC BY NC 4.0, Subject to terms of Use of the data generated by OpenAI

Pile, Self-Instruct

---> GPT4ALL-J

Apache 2.0

Public

GPT4All-J dataset

Pythia

Apache 2.0

Public

Pile

---> Dolly v2

MIT license

Public

Pile, databricks-dolly-15k

OPT

OPT-175B LICENSE AGREEMENT

No development relating to surveillance research and military, no harm the public interest of society

Public

RoBERTa corpus, the Pile, PushShift.io Reddit

---> OPT-IML

OPT-175B LICENSE AGREEMENT

same to OPT

Public

OPT corpus, Extended version of Super-NaturalInstructions

YaLM

Apache 2.0

Unspecified

Pile, Teams collected Texts in Russian

BLOOM

The BigScience RAIL License

No use of generating verifiably false information with the purpose of harming others;
content without expressly disclaiming that the text is machine generated

Public

ROOTS corpus (Lauren¸con et al., 2022)

---> BLOOMZ

The BigScience RAIL License

same to BLOOM

Public

ROOTS corpus, xP3

Galactica

CC BY-NC 4.0

N/A

The Galactica Corpus

LLaMA

Non-commercial bespoke license

No development relating to surveillance research and military, no harm the public interest of society

Public

CommonCrawl, C4, Github, Wikipedia, etc.

---> Alpaca

CC BY NC 4.0

CC BY NC 4.0, Subject to terms of Use of the data generated by OpenAI

LLaMA corpus, Self-Instruct

---> Vicuna

CC BY NC 4.0

Subject to terms of Use of the data generated by OpenAI;
Privacy Practices of ShareGPT

LLaMA corpus, 70K conversations from ShareGPT.com

---> GPT4ALL

GPL Licensed LLaMa

Public

GPT4All dataset

OpenLLaMA

Apache 2.0

Public

RedPajama

CodeGeeX

The CodeGeeX License

No use for illegal purposes or military research

Public

Pile, CodeParrot, etc.

StarCoder

BigCode OpenRAIL-M v1 license

No use of generating verifiably false information with the purpose of harming others;
content without expressly disclaiming that the text is machine generated

Public

The Stack

MPT-7B

Apache 2.0

Public

mC4 (english)The StackRedPajamaS2ORC

falcon

TII Falcon LLM License

✅/❌

Available under a license allowing commercial use

Public

RefinedWeb

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/52143.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1024 鲲鹏开发者技术沙龙·福州站圆满收官!给程序员的福利你收到了吗?

10月24日,由华为技术有限公司与福建鲲鹏生态创新中心联合主办的“1024鲲鹏开发者技术沙龙”在福州顺利举行。 在沙龙上,来自福建鲲鹏生态创新中心运营总监宋宗佑为活动进行致辞,福建鲲鹏生态创新中心生态总监朱晓彤对鲲鹏生态创业中心进行介绍…

HighNewTech:18.11.07—第五届世界互联网大会—互联网届的奥斯卡大奖—15张PPT见证15项世界互联网领先科技成果

High&NewTech:18.11.07—第五届世界互联网大会—互联网届的奥斯卡大奖—15张PPT见证15项世界互联网领先科技成果 目录 现场图片 1、马化腾:微信小程序商业模式创新 2、阎力大:华为昇腾310芯片 3、井贤栋:蚂蚁金服自主可控…

2019,你不知道的大厂薪酬

https://www.toutiao.com/a6707464019306873347/ 本文原创首发于“青创联Young Star”公众号,转载请注明出处。 文 | T.K 田卡 编辑 | 晓彤 ▲ BAT三科技巨头创始人,图/IT时代周刊 香港媒体《世界日报》近日发了一篇题为《香港“打工皇帝”恐被腾讯刘炽…

AS 导入Eclipse项目报错:Error: java.lang.RuntimeException: Some file crunching failed, see logs for details

错误原因: AS对.9图的要求很严格,但是Eclipse会直接忽视.9图的错误. 解决方案: 打开Gradle Console 窗口查看是哪个.9图有问题.以及问题的原因. 问题原因通常是.9图没有制作好,或者是不应该是.9图却命名成.9图. 要么用AS自带的.9图编辑器修正一下图片,要么把…

马斯克被曝摆架子/ 朱晓彤卸任特斯拉中国法人/ 苹果M2Pro首发台积电3nm...今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 大家好!今天是12月28日星期三。 2022年最后一个打工周已过半。 今天科技圈都在关心什么新鲜事? 一起来看看。 微念与李子柒和解 12月27日,微念官方公号发布信息: 微念与李子柒在绵阳市中…

巴比特 | 元宇宙每日必读:生成式AI会对下一代互联网产生怎样的影响?GPT会成为AI时代的操作系统吗?元宇宙又该何去何从?...

摘要:据澎湃新闻报道,3月30日,在博鳌亚洲论坛2023年年会“下一代互联网”论坛上,腾讯集团高级执行副总裁汤道生认为,下一代互联网具有三大基本趋势,分别是AI驱动、全真互联网以及产业互联网;诺基…

2023智源大会议程公开 | 大模型新基建与智力运营论坛

6月9日,2023北京智源大会,将邀请这一领域的探索者、实践者、以及关心智能科学的每个人,共同拉开未来舞台的帷幕,你准备好了吗?与会知名嘉宾包括,图灵奖得主Yann LeCun、OpenAI创始人Sam Altman、图灵奖得主…

google cloud 自动续费或扣费问题处理-使用了其它功能.坑

近两个月老是收到google cloud的账单,肉疼,发现没有ES实例,之前没有留意其它的信息和扣费账单信息.导致多扣了两个月. 发现是自己可以之前玩了下google cloud的sql-mysql和外部IP地址等 没有及时删除导致,不知道是收费项目. 今天去google付款中心去核对了才发现是mysql实例产…

2020年apple developer如何续费

2020年apple developer如何续费 今年续费发现需要安装apple developer app完成身份认证后才能进行续费。 收到到期提醒 image.png 下载Apple Developer应用 完成身份验证 请注意,您可能需要把iphone或ipad升级到最新版,不然找不到这个应用 完成验证后&…

vip会员开通续费html页面

下载地址 一款红色的网站VIP购买页面,会员充值购买页面模板htmlcss纯静态模板 dd:

copilot 取消订阅(付费)

copilot 现在开始收费了,一个月10刀,大概六七十块钱。取消订阅的话,可以按照以下方法操作。 1,登录自己的github账号,在自己账号头像处点开setting设置。 2,在左侧栏目选择billing and plans (付费计划) …

如何取消苹果自动续费?手把手教你关闭自动续费全步骤

如何取消苹果自动续费?一些手机应用的会员在充值时会默认自动续费,有些时候我们可能没看到默认勾选了这个选项,在收到账单才发现自己被扣了钱。想要关闭自动续费却不知道该怎么操作,今天小编就来教大家如何关闭苹果手机上的自动续费。 第一种方法:通过苹果手机设置取消订…

iOS自动续费沙盒环境测试

近期工作中涉及iOS的自动续费,趟了很多坑,也耗费很多时间,在此记录下,欢迎后来者借鉴。 1、ios的自动续费和安卓(除华为外)的自动续费后端逻辑一样吗? 答:不一样,安卓的…

App Store 开发者账号续费,找不到入口:非活跃用户

已过期续订问题处理:非活跃用户 问题原因: 1、首次申请 App Store 开发者账号,使用了非本 开发者账号的 APPID 进行支付,所以导致后续无法再使用本账号 APPID 续费问题,只能继续使用原支付 APPID 进行支付 今天&…

苹果开发者账号续费不成功?提示你的支付授权失败?看这里...

苹果开发者账号续费失败,提示:你的支付授权失败。请核对你的信息并重试,或尝试其他支付方式。请联系你的银行了! 公司开发者账号即将到期,一年一度续费的重任又落到我肩膀上了,那么我们就进入正题吧… 一如既往登录 developer.a…

女子检查手机被吓坏:一堆APP正在“自动续费”

手机里的那些“自动续费”,你该关的都关掉了吗? 最近,26岁的周佳一查自己的手机钱包,才发现多个APP正在“自动续费”。而其中有的APP早就停用甚至卸载了……这一切,都源于周佳当初在开通会员时忘记将“自动续费”停用。…

php授权微信自动扣款,【微信支付】微信代扣开发者文档

3、在服务商后台为子商户申请代扣权限 已开通委托代扣权限的服务商,用超级管理员账号在服务商平台点击【服务商平台—产品中心—特约商户授权产品—服务商委托代扣】,进入服务商委托代扣页面。 在需要开通委托代扣权限的子商户右侧可以看到申请按钮&…

Adobe奇葩续费机制被网友狂喷:一不留神就扣2500,按月付费还随时取订?长点心吧...

明敏 金磊 发自 凹非寺量子位 | 公众号 QbitAI 说好7天试用免费,然后按月付费使用… 结果用完第一个月后想取消订阅,反要收取6个月的费用??? 这还不是什么不正规小公司的流氓小软件,而是在全球拥有海量用户…