【通览一百个大模型】LaMDA(Google)

【通览一百个大模型】LaMDA(Google)

作者:王嘉宁,本文章内容为原创,仓库链接:https://github.com/wjn1996/LLMs-NLP-Algo

订阅专栏【大模型&NLP&算法】可获得博主多年积累的全部NLP、大模型和算法干货资料大礼包,近200篇论文,300份博主亲自撰写的markdown笔记,近100个大模型资料卡,助力NLP科研、学习和求职。


LaMDA大模型基本信息资料卡

序号大模型名称归属推出时间规模预训练语料评测基准模型与训练方法开源论文模型地址相关资料
20LaMDAGoogle2022-02137B预训练的数据包含2.97B documents,1.12B dialogs以及13.39B dialog utterances。从三个方面进行评测:
(1)Quality(Sensibleness, Specificity, Interestingness,SSI):Mini-Turing Benchmark (MTB) 数据集;
(2)Safety:自己构建了8k对话数据;
(3)Groundedness:自己构建了4k对话数据
选择Decoder-only Transformer,训练过程包括两个环节:
(1)Pre-training,在2.97B文本上进行Causal LM预训练,多轮对话场景;
(2)Fine-tuning,在Quality、Safety和Groundedness三个数据集/场景上训练,旨在提高模型在对话过程中的Sensibleness, Specificity, Interestingness、Safety和Groundedness性能。
(3)针对语言模型的可能生成看起来可信,但是违背事实的幻觉问题,LaMDA通过学习使用利用外部知识源去缓解这个问题。LaMDA构建一个包含信息检索系统,计算模块,翻译模块的工具(简称TS),这部分的finetune也包括两个子任务,第一个是将历史上文跟模型回复一起输入到模型中,生成对应的检索query。第二个子任务是将历史上文+模型回复+检索结果一同输入到模型中,让模型决定是生成新的检索query或者生成最终回复(根据生成的第一个字符串决定,如果是TS,则继续检索,如果是User则返回对应结果)
未开源论文未开源LAMDA介绍,LAMDA论文阅读,LAMDA解读

订阅专栏【大模型&NLP&算法】可获得近100个大模型的资料卡~


LaMDA介绍

LaMDA是在DeepMind的Sparrow跟openai的instructGPT之前由谷歌提出的对话机器人,全称Language Models for Dialog Applications,是一个在海量对话跟web数据上进行预训练再在人工标注数据上做进一步微调后得到的参数量高达137B的大模型。LaMDA除了在生成文本质量有所提升外,通过在人工标注数据上做进一步finetune以及让模型学会检索利用外部知识源的能力,使得模型在安全性以及事实性这两个关键问题上获得明显提升。

  • 安全性指的是模型的回复应该满足一系列人为价值观,例如没有歧视跟偏见,不会生成伤害性建议。
  • 事实性指的模型的回复应该符合事实,跟外部知识源保持一致,而不是一本正经的胡说八道。

LaMDA模型Pre-training

we pre-trained LaMDA on a dataset created from public dialog data and other public web documents.

预训练的数据包含2.97B documents,1.12B dialogs以及13.39B dialog utterances。
模型:Decoder-only Transformer。共有64层Transformers,隐状态向量维度为8192,head数为128.
预测生成时,选择top-40结果采样得到16个候选回复,再基于候选回复的对数似然得分跟长度选择最优的回复
image.png
模型大小:

  • 137B
  • 8B
  • 2B

image.png

LaMDA Fine-tuning

**LaMDA的finetune包括两部分,一部分是针对生成文本质量跟安全性,另一部分则是学习如何利用外部的信息检索系统。**其中质量(SS I)可以从三方面评估,分别是:

  • sensibleness(文本是否合理,跟历史对话是否有冲突);
  • Specificity(对于前文是否有针对性,避免笼统回复,例如用户提问“I love Eurovision”,模型生成一个笼统回复“Me too”就不符合预期);
  • Interestingness(文本是否能引起某人注意或者好奇,是否是超出期待的巧妙回复)。而安全性(Safety)的目标则是要符合谷歌AI的基本原则,避免生成会造成伤害的不符合预期的结果,或者带有偏见跟歧视。

Finetuning to learn to call an external information retrieval system

这部分也称为Groundedness,针对语言模型的可能生成看起来可信,但是违背事实的幻觉问题,**LaMDA通过学习使用利用外部知识源去缓解这个问题。**LaMDA构建一个包含信息检索系统,计算模块,翻译模块的工具(简称TS),这部分的finetune也包括两个子任务,第一个是将历史上文跟模型回复一起输入到模型中生成对应的检索query。第二个子任务是将历史上文+模型回复+检索结果一同输入到模型中,让模型决定是生成新的检索query或者生成最终回复(根据生成的第一个字符串决定,如果是TS,则继续检索,如果是User则返回对应结果)

image.png

  博客记录着学习的脚步,分享着最新的技术,非常感谢您的阅读,本博客将不断进行更新,希望能够给您在技术上带来帮助。


【大模型&NLP&算法】专栏

近200篇论文,300份博主亲自撰写的markdown笔记。订阅本专栏【大模型&NLP&算法】专栏,或前往https://github.com/wjn1996/LLMs-NLP-Algo即可获得全部如下资料:

  • 机器学习&深度学习基础与进阶干货(笔记、PPT、代码)
  • NLP基础与进阶干货(笔记、PPT、代码)
  • 大模型全套体系——预训练语言模型基础、知识预训练、大模型一览、大模型训练与优化、大模型调优、类ChatGPT的复现与应用等;
  • 大厂算法刷题;

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51610.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

生成式AI加入低代码,或将再次颠覆开发行业

研究表明,生成式AI模型的发展将会进一步降低使用低代码和无代码开发工具的门槛,并可能诞生一类全新的智能开发技术。 在帮助用户构建自己的软件应用程序方面,低代码和无代码平台已经发挥了至关重要的作用,这些用户很少具备或根本…

聊一下大学几年如何渡过

(点击即可收听) 随着高考志愿填报的结束,等待自己的就是录取,出分与录取是每个高考生最激动的时刻 如果被某个大学和专业录取了,那接下来就是好好去上大学了的 作为一个经过大学洗礼的自己,在这里有一些话想对即将步入大学的同学说…

这里有一份诚意满满的计算机专业推荐书单

随着高考陆续放榜,盼来成绩的考生与家长们又迎来另一个纠结的难题——志愿填报。确认自己的专业方向,不仅要综合自身兴趣与特长考虑,还需与未来的就业挂钩。 根据《2023高考志愿报告》,当前计算机科学与技术专业热度仍然排名第一位…

IntelliJ IDEA 中插件的安装过程

这里简单介绍一下 IntelliJ IDEA 中插件的安装过程 有两种方式: (1)在线安装 (2)本地安装/离线安装

VS2022 + QT中文乱码问题

解决方法:下载插件 第一步:扩展→管理扩展 第二步:搜索并下载Format on Save for VS2022 可以在已安装栏看是否安装成功,重启VS2022就可以了。 感谢阅读,如有不足之处,欢迎来指正。谢谢!

如何解决表单提交的中文乱码问题 (控制台乱码输出)

在使用Tomcat跑项目的时候 会遇到类似下图乱码控制台输出问题 非常不方便 如果不解决 会影响我们后面代码报错 找问题 介绍一下几种乱码问题 一、JSP文件修改乱码 <% page language"java" contentType"text/html; charsetUTF-8"pageEncoding"UT…

页面乱码问题解决(汇总)

页面乱码问题解决 目录 1.前端页面代码解决乱码问题 2. 后端端页面代码解决乱码问题 3. idea编译文件乱码问题 1.前端页面代码解决乱码问题 &#xff08;a&#xff09;页面是jsp&#xff0c;对于这个&#xff0c;需要在jsp头部加上 page的编码设置 <% page contentTyp…

各种中文乱码解决大全

各种乱码&#xff1a;处理方式 配置tomcat以及IDEA的配置文件时&#xff08;注意要重新启动&#xff09; 希望以下几种解决方法对大家有所帮助&#xff01;&#xff01;&#xff01;1.启动Tomcat控制台中文乱码&#xff1a; 解决方法&#xff1a; -Dfile.encodingUTF-8 2.I…

构建个人版ChatGPT Prompt

目录 前言 一、基本原则 二、进阶技巧 1.增加结果示例 2.角色扮演 3.对于复杂问题&#xff0c;分步进行 4.使用分隔符 5.要求ChatGPT进行自我检查 6.使用英文 三、推荐免费插件 总结 前言 一、基本原则 当我们尝试写一个更好的 Prompt 时&#xff0c;我们可以参考 E…

ChatGPT在媒体与娱乐领域的沉浸式场景:虚拟主持人和创意助手的新应用探索

第一章&#xff1a;引言 在当今数字化时代&#xff0c;人工智能技术在媒体与娱乐领域的应用日益广泛。ChatGPT作为一种先进的自然语言处理模型&#xff0c;具备强大的对话生成能力和创造力&#xff0c;为媒体与娱乐产业带来了新的创意和可能性。本文将探讨ChatGPT在媒体与娱乐…

我用一早上时间做了个股价预测,居然这么准?

最近因为做项目的需要&#xff0c;要做一些数据预测&#xff0c;因此就去学习了一下相关的知识。主要就是采用LSTM来做时间序列的预测。 IBM股价预测 数据集选择的是IBM2006-2018年的股价数据&#xff0c;我这里算的是每日的最高股价。其中&#xff0c;2006-2016年的数据是训…

量化分析预测股市?试试这个 Python 库

本文将展示如何使用 Python 的第三方库 Stocker 来进行股票分析和预测。 安装第三方库 安装所需的库后&#xff0c;我们要做的第一件事就是将 Stocker 类导入到我们的 Python 代码中。我们可以通过在脚本目录中启动的 Jupyter Notebook 执行此操作。 !pip install quandl !pip …

解锁更高效的AIGC工具:现代大语言模型工具推荐

AI技术的普及已经在近年来不断增长。这种技术已经改变了我们与电脑的互动方式&#xff0c;让我们能够更高效、更自然地完成任务。本文将展示10个基于ChatGPT和GPT-3 AI模型构建的最强大的资源&#xff0c;使您更容易充分利用它们的潜力。因此&#xff0c;如果您想利用AI技术改进…

浅议抖音短视频平台的利与弊

近些年&#xff0c;各类短视频在中华文化国际传播中发挥了独特作用&#xff0c;比如说李子柒、丁真等网络达人为代表的视听内容在国际话语体系中努力塑造可信、可亲、可敬的中国人形象&#xff0c;并以此带动了“中国元素”的时尚潮流&#xff0c;引发海外民众对东方文化的关切…

网络案例分析之999皮炎平出鹤顶红色号的口红

今天说点不是纯技术的事儿&#xff0c;不过也是互联网相关的。 就是上周末被刷屏的999皮炎平出了口红了&#xff0c;而且出的三款口红还相当霸气&#xff0c;分别是“鹤顶红”、“夕阳红”和“够坦橙”。 且不说这是一次非常大的跨界&#xff0c;就这三款的名字就十分有嘘头&…

【揭秘】过敏性炎症的元凶竟然是“它”

在人体免疫系统中&#xff0c;原始T细胞经刺激后&#xff0c;可分化为不同路径的辅助型T细胞(T helper&#xff0c;Th)&#xff0c;其中Th2介导的2型炎症已经被科学家证明主要参与粘膜表面的屏障免疫&#xff0c;与特应性皮炎等2型炎症性疾病息息相关&#xff0c;而IL-4是其中发…

儿童过敏性疾病的表观遗传年龄

在过去的几十年里&#xff0c;被诊断患有哮喘和过敏症的儿童人数大幅上升&#xff0c;究竟是什么原因推动了这一增长&#xff0c;目前尚无定论。环境和生活方式的迅速变化可能是罪魁祸首&#xff0c;但这两种疾病的病因仍有许多有待了解的地方。为了加深我们的理解&#xff0c;…

文献(5): 单细胞转录组揭示人类纤维化皮肤病中成纤维细胞的异质性

一句话评价&#xff1a;小样本量单细胞转录组在冷门疾病领域应用前景尚可&#xff0c;常规套路也能发NC 1. Title 标题可以看出本研究的主要内容&#xff1a;①构建成纤维细胞的图谱/揭示成纤维细胞的异质性&#xff1b;②找到一群&#xff08;相对于正常样本&#xff09;在纤维…

规划自己的健康问题

这是学习笔记的第 2414篇文章 最近处理了一些事情&#xff0c;看起来是些碎片没有关联的事情&#xff0c;但是实际上却有深意&#xff0c;所以我不禁感叹健康问题。自己的健康&#xff0c;只有自己知道&#xff0c;而且只有自己最重视&#xff0c;当然意识到问题和要做出改变是…

qml 中的function怎么加类型_皮炎有哪些类型?生活中皮炎要怎么预防?得了皮炎要注意哪些问题...

皮炎有哪些类型?要怎么预防?大家对皮炎一定不会陌生&#xff0c;这是一种很常见的疾病&#xff0c;一年四季都会发病&#xff0c;发病范围也不规律&#xff0c;好发部位在脸部。当皮炎发作时&#xff0c;很多人会把它的症状和别的疾病混淆&#xff0c;以至于没有对症用药&…