RAG与Fine Tuning:如何选择正确的方法

今日份知识你摄入了么?

生成式人工智能有潜力改变你的业务和数据工程团队,但前提是要正确实施。那么,你的数据团队如何才能真正利用大型语言模型或生成式人工智能_(GenAI)_计划来驱动价值呢?

领先的组织通常在两种新兴框架之间做出选择,这些框架区分了其业务价值的人工智能:RAG与Fine Tuning。

什么是检索增强生成_(RAG)_与Fine Tuning之间的区别?你的组织应该什么时候选择RAG还是Fine Tuning?应该同时使用吗?

我们将深入探讨RAG与Fine Tuning的基础知识,了解每种方法的最佳用途,它们的优点以及一些实际应用案例来帮助你入门。

目录

  • 什么是检索增强生成_(RAG)_?

  • 什么是Fine Tuning?

  • 什么时候使用检索增强生成_(RAG)_?

  • 检索增强生成使用案例

  • 什么时候使用Fine Tuning?

  • Fine Tuning使用案例

  • 如何在RAG与Fine Tuning之间做出选择

常见问题解答

  • RAG比Fine Tuning好吗?

  • RAG与Fine Tuning和提示工程有什么区别?

  • RAG和Fine Tuning可以一起使用吗?

  • RAG比Fine Tuning便宜吗?

  • RAG与模型Fine Tuning有什么区别?

什么是检索增强生成(RAG)?

检索增强生成(RAG)是Meta于2020年推出的一种架构框架,将你的大型语言模型(LLM)连接到一个精选的、动态的数据库。这通过允许LLM访问和结合最新的、可靠的信息来改进其输出和推理能力。

RAG开发是一个复杂的过程,并非凭空而来。它可以涉及提示工程、像Pinecone这样的向量数据库、嵌入向量和语义层、数据建模、数据编排和数据管道——所有这些都为RAG量身定制。

以下是RAG流程的工作方式:

  • **查询处理:**当用户向系统提交查询时,流程开始。这是RAG链检索机制的起点。

  • **数据检索:**根据查询,RAG系统搜索数据库以找到相关数据。这一步涉及复杂的算法,将查询与数据库中最适当和上下文相关的信息进行匹配。

  • **与LLM集成:**一旦检索到相关数据,它就会与用户的初始查询相结合并输入LLM。

  • **响应生成:**利用LLM的能力和检索数据提供的上下文,系统生成一个不仅准确而且针对查询特定上下文的响应。

Databricks中的RAG流程

因此,开发RAG架构对你的数据团队来说是一个复杂的任务,需要开发数据管道来提供增强LLM的专有上下文数据。但是,如果做得正确,RAG可以为AI驱动的数据产品增加巨大的价值。

什么是Fine Tuning?

Fine Tuning是一种生成式人工智能开发的另一种,涉及在较小的、专门的、有标签的数据集上训练LLM,并根据新数据调整模型的参数和嵌入。

在企业级AI的背景下,RAG和Fine Tuning的最终目标是相同的:从AI模型中驱动更大的商业价值。但与其通过访问专有数据库来增强现有LLM,不如通过为特定领域定制模型本身来进行更深入的Fine Tuning。

Fine Tuning涉及在较小的、专门的、有标签的数据集上训练LLM,并根据新数据调整模型的参数和嵌入。通过使模型与特定领域的细微差别和术语对齐,Fine Tuning帮助模型在特定任务中表现得更好。

什么时候使用检索增强生成(RAG)?

对于大多数企业用例,RAG比Fine Tuning更适合,因为它更安全、更可扩展且更可靠。

RAG允许增强的安全性和数据隐私

使用RAG,你的专有数据保留在安全的数据库环境中,允许严格的访问控制;而Fine Tuning中,数据成为模型训练集的一部分,可能会在没有相应可见性的情况下暴露给更广泛的访问。

RAG具有成本效益和可扩展性

Fine Tuning大型AI模型资源密集,需耗费大量时间和计算能力。通过将第一方数据整合到响应中而不是模型参数中,RAG能够在计算级别限制资源成本,并消除训练阶段,以及通过避免花费数周或数月时间制作和标记训练集而在人力级别上节省成本。

RAG提供可靠的结果

AI的价值在于其提供准确响应的能力。RAG在这方面表现出色,因为它不断从最新的精选数据集中提取信息来指导其输出。而且,如果出现问题,数据团队可以更轻松地追踪响应的来源,从而更清楚地了解输出是如何形成的,以及数据出错的地方。

检索增强生成使用案例

2024年初,Apache Airflow和Superset的创建者、Preset的创始人兼首席执行官Maxime Beauchemin告诉我们他的团队如何使用RAG为Preset的BI工具带来AI驱动的功能。

最初,Max和他的团队探索使用OpenAI的API来实现AI驱动的功能,例如客户使用普通语言文本生成SQL查询。但是,鉴于ChatGPT上下文窗口的限制,无法向AI提供关于其数据集的所有必要信息_(例如表格、命名约定、列名和数据类型)_。而当他们尝试Fine Tuning模型和自定义训练时,发现基础设施尚未完全就绪,特别是当他们还需要为每个客户进行细分时。

Max表示:“我迫不及待地想要拥有能够使用你组织的私人信息、GitHub、Wiki、dbt项目、Airflow DAG、数据库架构进行自定义训练或Fine Tuning的基础设施。但我们与许多其他创始人和在这个问题上工作的人进行了交谈,我很清楚在这个时代自定义训练和Fine Tuning真的很困难。”

鉴于Max和他的团队无法将客户的整个数据库甚至只是元数据放入上下文窗口中,“我们意识到我们需要非常聪明的使用RAG,即检索正确的信息以生成正确的SQL。目前,这一切都关乎为正确的问题检索正确的信息,”他说。

什么时候使用Fine Tuning?

根据可用资源,一些组织可能会选择Fine Tuning作为从其生成式AI计划中驱动价值的替代方案。

通过使模型与特定领域的细微差别和术语对齐,Fine Tuning帮助模型在特定任务中表现得更好。它在领域特定的情况下非常有效,比如以特定语气或风格回应详细的提示,例如法律简报或客户支持票据。它也是克服信息偏差和其他限制_(如语言重复或不一致)_的绝佳选择。

与RAG一样,Fine Tuning需要建立有效的数据管道,首先将专有数据提供给Fine Tuning过程。

Fine Tuning使用案例

过去一年的几项研究表明,Fine Tuning模型显著优于现成的GPT-3和其他公开可用的模型。

已经确定,对于许多用例,Fine Tuning的小模型可以优于大型通用模型——在某些情况下,使Fine Tuning成为一种可行的成本效益路径。

例如,Snorkel AI创建了一个数据中心基础模型,以弥合其基础模型和企业AI之间的差距。他们的Snorkel Flow功能包括Fine Tuning、提示构建器和“暖启动”,为数据科学和机器学习团队提供所需的工具,以有效地将基础模型用于性能关键的企业用例。

这导致Snorkel Flow和数据中心基础模型开发实现了与Fine Tuning的GPT-3模型相同的质量,部署模型小了1400倍,需要的真值_(GT)_标签不到1%,生产运行成本仅为0.1%。

如何在RAG与Fine Tuning之间做出选择

你应该根据用例和可用资源在RAG与Fine Tuning之间做出选择。虽然RAG是大多数用例的首选,但这并不意味着RAG和Fine Tuning是互斥的。虽然Fine Tuning并不总是最实用的解决方案——训练LLM需要大量的时间、计算和标记——但RAG也很复杂。

如果你有资源,那么同时利用两者肯定是有益的——训练你的模型从最有针对性的上下文数据集中提取最相关的数据。首先考虑你的具体需求,并做出对你的利益相关者驱动最大价值的决定。

无论你使用哪种方法,无论你使用哪一种,人工智能应用程序开发都需要数据管道,通过一些数据存储向这些模型提供公司数据。为了使你的AI正常工作,你需要关注模型依赖的数据管道的质量和可靠性。

RAG或Fine Tuning唯一能成功的方式是你能信任数据。为了实现这一点,团队需要利用数据可观察性——一种可扩展的自动化解决方案,以确保数据的可靠性,识别根本原因,并在影响服务的LLM之前快速解决问题。

如何系统的去学习大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解
  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望
阶段3:AI大模型应用架构实践
  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景
学习计划:
  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

全套 《LLM大模型入门+进阶学习资源包↓↓↓ 获取~

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享👈

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/392810.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我在高职教STM32——I2C通信入门(1)

大家好,我是老耿,高职青椒一枚,一直从事单片机、嵌入式、物联网等课程的教学。对于高职的学生层次,同行应该都懂的,老师在课堂上教学几乎是没什么成就感的。正是如此,才有了借助CSDN平台寻求认同感和成就感的想法。在这里,我准备陆续把自己花了很多心思设计的教学课件分…

Sentinel-1 Level 1数据处理的详细算法定义(五)

《Sentinel-1 Level 1数据处理的详细算法定义》文档定义和描述了Sentinel-1实现的Level 1处理算法和方程,以便生成Level 1产品。这些算法适用于Sentinel-1的Stripmap、Interferometric Wide-swath (IW)、Extra-wide-swath (EW)和Wave模式。 今天介绍的内容如下: Sentinel-1 L…

Python爬虫新手指南及简单实战

网络爬虫是自动化获取网络信息的高效工具,Python因其强大的库支持和简洁的语法成为编写网络爬虫的首选语言。本教程将通过一个具体的案例(基于Microsoft Edge浏览器的简单爬取),指导你使用Python实现一个完整的网络爬虫&#xff0…

NIO专题学习(一)

一、BIO/NIO/AIO介绍 1. 背景说明 在Java的软件设计开发中,通信架构是不可避免的。我们在进行不同系统或者不同进程之间的数据交互,或者在高并发的通信场景下都需要用到网络通信相关的技术。 对于一些经验丰富的程序员来说,Java早期的网络…

PXE 服务器搭建——启动界面设计实验

环境准备: 前期准备: 解决 kickstart 实验出现的 DHCP 的问题-CSDN博客 http://t.csdnimg.cn/5vZP0 当前准备: 两台虚拟机:RHEL7 OpenEuler(作为测试机器使用) ip:172.25.254.100 yum install syslinux.x…

【Web开发手礼】探索Web开发的秘密(十五)-Vue2(2)AJAX、前后端分离、前端工程化

主要介绍了AJAX、前后端分离所需的YApi、前端工程化所需要的环境安装!!! 目录 前言 AJAX ​原生Ajax Axios Axios入门 案例 前后端分离开发 YApi ​前端工程化 环境准备 总结 前言 主要介绍了AJAX、前后端分离所需的YApi、前端工…

2024华数杯c题题解(一)

目录 原题背景 背景分析 问题一 思路 代码 问题二 思路 代码 原题背景 最近,“city 不 city”这一网络流行语在外国网红的推动下备受关注。随着我国过境免签政策的落实,越来越多外国游客来到中国,通过网络平台展示他们在华旅行的见闻…

出现 No mapping for DELETE/GET等

出现 No mapping for DELETE/GET等 错误一:请求url不对 修改前 如下图可知后端请求url为http://localhost:8080/user/addressBook 运行后控制台出现 发现后端请求url比前端请求url少了/ 改正: 在DeleteMapping后面加上 / DeleteMapping("/&quo…

mysql操作(进阶)

1.数据库约束 数据库自动对数据的合法性进行校验检查的一系列机制,目的是为了保证数据库中能够避免被插入或者修改一些非法数据。 (1)mysql中提供了以下的约束: a.NOT NULL:指定某列不能为null b.UNIQUE&#xff1…

搭建pxe网络安装环境实现服务器自动部署

目录 配置 kickstart自动安装脚本 搭建dhcp服务 搭建pxe网络安装环境实现服务器自动部署 测试 配置 kickstart自动安装脚本 yum install system-config-kickstart #在rhel7做,rhel9要收费 system-config-kickstart #启动图形制作工具 vim …

工具收集 - tinytask(相当于迷你的按键精灵)

工具收集 - tinytask(相当于迷你的按键精灵) 简介首页 简介 TinyTask 是一款极简主义的 PC 自动化应用程序,您可以用它来记录和重复操作。顾名思义,它小得令人难以置信(仅 36KB!),极…

C++第三十一弹---C++继承机制深度剖析(下)

✨个人主页: 熬夜学编程的小林 💗系列专栏: 【C语言详解】 【数据结构详解】【C详解】 1.菱形继承及菱形虚拟继承 1.1 单继承 单继承:一个子类只有一个直接父类时称这个继承关系为单继承。 Student的直接父类是Person&#xff…

openai command not found (mac)

题意:mac 系统上无法识别 openai 的命令 问题背景: Im trying to follow the fine tuning guide for Openai here. 我正在尝试遵循 OpenAI 的微调指南 I ran: 我运行以下命令 pip install --upgrade openaiWhich install without any errors.…

干货!如何选择Ai大模型(LLMs)?

过去一年里,大型语言模型(LLMs)在人工智能界风起云涌,纷纷以突破性的进步拓展生成式人工智能的可能性。新模型层出不穷,令人目不暇接。 这些模型依靠日益增长的参数数量和庞大的数据集进行训练,显著提升了…

redis的key莫名失踪?

背景 在线上环境下,发现redis中key被莫名奇妙的删除了,起初怀疑是key过期但是查询了TTL并没有,在日志上加了删除key操作的打印 但是并没有看到产出这个key的日志记录,而且每次都是这个key被莫名奇妙删除掉,感觉很诡异。…

blender里的辉光

cycle的辉光, 点开支持后期效果 eevee的辉光,直接点bloom就行。 eevee的透明

sqli-labs-master初学者题目练习

Less-1 从源码可以看出id为注入点,且为单引号过滤 使用 闭合 --为注释 原本应该用--‘space’,但-与‘连在一起无法起到注释作用 order by为联合查询——同时查询两张表,但两张表列数必须相同 所有从以上两张图可以看出此表格有三列数据 爆…

防火墙工具iptables应用详解

文章目录 前言一、Netfilter内核二、Netfilter与iptables的关系三、iptables的表与链四、iptables的常用命令与参数五、 iptables使用案例 前言 iptables是Linux系统中一款强大的防火墙工具,它基于Netfilter内核模块,允许管理员定义数据包的转发、过滤和…

了解MVCC

概念 MVCC,全称Multi-Version Concurrency Control,即多版本并发控制,是一种并发控制的方法,维护一个数据的多个版本,使得读写操作没有冲突,快照读为MySQL实现MVCC提供了一个非阻塞读功能。MVCC的具体实现…

超级会员卡积分商城小程序多功能源码系统 带完整的安装代码包以及部署教程

源码系统概述 超级会员卡积分商城小程序多功能源码系统是一款集合了多种功能于一体的会员积分商城小程序源码系统。该系统采用先进的技术架构,支持多门店统一管理,提供丰富的会员信息和商品管理服务,支持多种支付方式和营销活动,同…