【DeepSeek探索篇(四)】高效学习与工作,从搭建DeepSeek个人知识库开始!

高效学习与工作,从搭建DeepSeek个人知识库开始!

  • 打工人和学习者必看!你为何急需一个个人知识库?
  • 搭建个人知识库需要用到哪些技术呢?
    • 一、模型微调与RAG技术简介
    • 二、RAG技术原理剖析
  • 揭秘Embedding:为何它是DeepSeek和RAGFlow之外的必备利器?
    • 三、检索过程全解析
      • 1、准备外部知识库
      • 2、解析知识库文件
      • 3、处理用户提问
      • 4、匹配本地知识库
    • 四、模型分类简介
    • 五、如何进行个性化知识库的构建?
      • 手把手教你用Docker本地部署RAGflow
        • 1、下载RAGflow源代码
        • 2、下载Docker
        • 3、修改RAGflow中的配置
        • 4、使用预构建的 Docker 镜像启动服务器
        • 5、打开一个网页输入,成功看到如下界面说明启动成功了。注册登录即可
        • 6、利用RAGflow搭建个人知识库并实现智能对话

打工人和学习者必看!你为何急需一个个人知识库?

在日常忙碌的工作与学习中,相信不少CSDN的小伙伴都和我一样,积累了海量的文档、代码片段、学习笔记等资料。但这些资料就像没有整理的仓库,一旦需要查找,往往在里面翻来覆去,浪费大量时间和精力。

别愁!今天给大家带来一个好方法,利用DeepSeek就能快速搭建个人专属的知识库。它能带来哪些惊喜呢?

集中管理:从此告别资料散落在各个角落的烦恼,将所有资料统一收纳,一个地方全搞定。
快速检索:智能搜索功能超强大,输入关键词,就能精准定位你需要的信息。
高效学习:结构化的存储方式,让知识体系一目了然,大大提升学习和工作的效率。

快来一起探索DeepSeek搭建个人知识库的奇妙之旅吧!

搭建个人知识库需要用到哪些技术呢?

在大模型应用的过程中,“幻觉问题”一直是令人头疼的存在。简而言之“幻觉问题”就是大模型在回答他不知道的问题的时候他会

胡说八道,他会乱编。而模型微调与RAG技术,都在尝试为其提供解决方案,下面我们就来深入了解一下。

一、模型微调与RAG技术简介

  • 模型微调:它就像是考前复习,基于已有的预训练模型,结合特定任务的数据集进一步训练,让模型在该领域的表现更加出色。
  • RAG技术:全称为Retrieval-Augmented Generation(检索增强生成)。它就像是考试时带小抄,在生成回答前,通过信息检索从外部知识库中查找与问题相关的知识,增强生成过程中的信息来源,从而提升生成内容的质量和准确性 。
  • 两者共同点:二者的核心目的都是为模型赋予特定领域的知识,有效解决大模型的“幻觉问题”。

二、RAG技术原理剖析

  1. 检索(Retrieval):当用户提出问题,系统会快速从外部的知识库中检索出相关内容。
  2. 增强(Embedding):将检索到的信息与用户输入进行结合,拓展模型的上下文信息,为后续的生成提供更丰富的素材。
  3. 生成(Generation):以Deepseek等生成模型为基础,基于增强后的输入生成最终回答。由于参考了外部知识库,答案的准确性和可信度更高。

对于在大模型开发与应用中探索的CSDN朋友们,理解RAG技术及其与模型微调的区别,有助于我们更好地优化模型表现。

揭秘Embedding:为何它是DeepSeek和RAGFlow之外的必备利器?

在AI技术的应用中,除了DeepSeek和RAGFlow,Embedding模型也扮演着关键角色。接下来,我们就来详细了解一下Embedding的奥秘。

三、检索过程全解析

1、准备外部知识库

外部知识库来源广泛,包括本地文件、搜索引擎结果、API等多种渠道。

2、解析知识库文件

借助Embedding(嵌入)模型,能够将自然语言转化为机器可理解的高维向量,同时捕获文本背后的语义信息,比如不同文本间的相似度关系。

3、处理用户提问

用户的输入同样会经过Embedding处理,生成一个高维向量。

4、匹配本地知识库

利用用户输入生成的高维向量,查询知识库中的相关文档片段,并通过余弦相似度等度量方式判断相似度。
在这里插入图片描述

四、模型分类简介

模型主要分为Chat模型和Embedding模型。Embedding模型的核心作用,就是对上传的附件进行解析,将文本数据转化为向量

数据,从而便于机器处理和分析。

五、如何进行个性化知识库的构建?

手把手教你用Docker本地部署RAGflow

在利用RAG技术搭建个性化知识库时,RAGflow是一个得力工具。下面为大家介绍如何通过Docker在本地部署RAGflow。

1、下载RAGflow源代码

首先,找到RAGflow的官方代码仓库,按照指引下载其源代码。这是后续部署的基础。
链接:RAGFlow
可以直接用git克隆下来
如果没有安装git也可以直接点Download ZIP,下载到本地。
在这里插入图片描述

2、下载Docker

Docker是一个强大的容器化平台,其镜像就像是一个精心封装好的“盒子”,里面包含了运行RAGflow所需的所有依赖项、库以及配置。

在下载安装Docker的过程中,如果遇到报错也别慌,可以通过搜索引擎查找相关报错信息,或者向GPT等AI工具寻求帮助。

要是出现镜像无法下载的情况,不妨尝试修改Docker的镜像源,换个“通道”,说不定就能顺利拉取镜像了。

按照这些步骤,你就能更轻松地在本地部署RAGflow,开启你的个性化知识库搭建之旅啦。
docker官网链接:docker
选择对应的去下载即可
在这里插入图片描述
下载完成后桌面会有一个docker图标,也可以win+R打开控制台输入docker,弹出如下说明也表示安装完成了。
在这里插入图片描述
在这里插入图片描述

3、修改RAGflow中的配置

原因:如果不修改配置RAGflow会默认给你下载轻量的版本,可以看到如下轻量的版本是没有Embedding模型的
在这里插入图片描述
在下载好的ragflow的源代码中打开.env的文件
在这里插入图片描述
把RAGFLOW轻量版注释掉

#RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim

把RAGFLOW完整版取消注释

RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0

在这里插入图片描述

4、使用预构建的 Docker 镜像启动服务器

在下载ragflow路径下的docker中打开控制台输入:

docker compose -f docker-compose.yml up -d

在这里插入图片描述

5、打开一个网页输入,成功看到如下界面说明启动成功了。注册登录即可

localhost:80

在这里插入图片描述

6、利用RAGflow搭建个人知识库并实现智能对话

在通过Docker成功部署RAGflow后,就可以着手构建个人专属的知识库,并实现基于该知识库的对话问答啦。以下是详细步骤:

  1. 访问RAGflow:当Docker顺利启动,打开浏览器,在地址栏输入localhost:80,即可进入RAGflow界面。

  2. 添加模型提供商:在界面中找到“模型提供商”选项,添加本地部署的deepseek-r1:1.5b模型。
    注意:若大家还没有本地部署deepseek大模型的话可以参考博客:一步一步搞定!DeepSeek本地环境搭建全攻略
    在这里插入图片描述
    本地部署好deepseek’模型后,控制台输入ollama list可以查看本地部署的模型
    在这里插入图片描述
    控制台输入ipconfig,查看自己电脑的ipv4的地址
    基础的Url:http://+本地ipv4地址+:11434(ollama默认的端口号),如下图:
    在这里插入图片描述

  3. 配置系统模型:进入“系统模型设置”,分别配置Chat模型为deepseek-r1:1.5b,Embedding模型使用RAGflow自带的即可。
    在这里插入图片描述

  4. 创建并解析知识库:点击创建知识库,上传所需文件,让系统对文件进行解析处理。
    在这里插入图片描述
    在这里插入图片描述

  5. 创建聊天助理:着手创建聊天助手,过程中注意prompt(提示词)和tokens(令牌)的合理配置。
    在这里插入图片描述

  6. 开始对话:完成上述步骤,就可以开始和基于个人知识库的聊天助手愉快对话,就可以通过不断的喂数据来训练自己搭建的知识库啦。

  7. 在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/24574.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI数字人系统源码部署解决方案!!!

一、开场白 如今,科技的步伐越来越快,数字人已经从想象中走进了我们的现实生活。它们在娱乐、教育、医疗等多个领域大放异彩。了解数字人的代码开发技术,能让我们更好地理解其工作原理,为那些想在这一领域大展拳脚或者用数字人技…

【网络】HTTPS协议原理

文章目录 1. HTTPS 是什么2. 常见的加密方式3. 数据摘要4. 加密方案测试4.1 只是用对称加密4.2 只使用非对称加密4.3 双方都使用非对称加密4.4 对称 非对称 5. 证书5.1 数据签名5.2 CA 证书5.3 方案五 非对称加密 对称加密 证书认证 1. HTTPS 是什么 HTTP 协议内容都是按照…

计算机网络————(三)

前文二 前文一 Websocket协议 是一种存在TCP协议之上的协议 当客户端需要了解服务器是否更新就需要不断给客户端发送请求询问是否更新,这行会造成服务端压力很大 而Websocket相当于服务器一旦更新了就会给客户端发送消息表明自己更新了,类似客户端订阅…

Blueprint —— Events

目录 一,Event Level Reset 二,Event Actor Begin Overlap 三,Event Actor End Overlap 四,Event Hit 五,Event Any Damage 六,Event Point Damage 七,Event Radial Damage 八&#xff…

博云先进算力管理平台AIOS已上线全尺寸DeepSeek系列模型

在异构基础设施上轻松运行全尺寸DeepSeek DeepSeek于2024年12月发布了包括 DeepSeek V3、R1、Janus Pro等多版本模型。V3版本适用于通用型自然语言处理任务,R1专注于复杂推理任务,而 Janus Pro 则擅长多模态理解与生成,可满足企业不同 AI 场…

如何搭建起成熟的团队知识文档管理系统

搭建一个成熟的团队知识文档管理系统,对于提升团队的工作效率、促进信息共享以及保障知识资产的安全性都至关重要。**要实现这一目标,首先需要明确知识管理的目标和需求,其次选择合适的知识管理工具,最后制定有效的管理流程和权限…

0-基于强化学习的图Transformer算法求解车辆路径问题(2023)

文章目录 Abstract1 Introduction2. Related Work2.1 引言2.2.基于RNN的VRP解决方案2.3.基于GNN的VRP解决方案2.4.基于Transformer的车辆路径问题求解方法3 边嵌入注意力模型3.1 编码器3.1.1 边嵌入多头注意力3.1.2. 前馈网络(FFN)、批量归一化和残差连接3.2 解码器3.2.1 解码…

C#快速调用DeepSeek接口,winform接入DeepSeek查询资料 C#零门槛接入DeepSeek C#接入DeepSeek源代码下载

下载地址<------完整源码 在数字化转型加速的背景下&#xff0c;企业应用系统对智能服务的需求日益增长。DeepSeek作为先进的人工智能服务平台&#xff0c;其自然语言处理、图像识别等核心能力可显著提升业务系统的智能化水平。传统开发模式下&#xff0c;C#开发者需要耗费大…

有关与 WSL 2 的主要区别的信息,请访问 https://aka.ms/wsl2

https://learn.microsoft.com/zh-cn/windows/wsl/install-manual#step-4—download-the-linux-kernel-update-package

深度神经网络(DNN)编译器原理简介

深度神经网络(DNN)编译器原理简介 目录 深度神经网络(DNN)编译器原理简介1 什么是DNN编译器2 前端3 后端4 中间表达&#xff08;Intermediate Representation&#xff0c;后文用IR代替&#xff09;5 优化过程6 计算图优化6.1 表达式化简6.2 公共子表达式消除6.3 常数传播6.4 矩…

最小二乘法与梯度下降(原理)

一、最小二乘法 损失函数矩阵形式&#xff1a; 令导数loss0 &#xff0c;可解得&#xff1a; API : sklearn.linear_model.LinearRegression() 功能&#xff1a; 普通最小二乘法线性回归, 权重和偏置是直接算出来的&#xff0c;对于数量大的不适用&#xff0c;因为计算量…

【2025全网最新最全】前端Vue3框架的搭建及工程目录详解

文章目录 安装软件Node.js搭建Vue工程创建Vue工程精简Vue项目文件 Vue工程目录的解读网页标题的设置设置全局样式路由配置 安装软件Node.js 下载地址&#xff1a;https://nodejs.org/zh-cn/ 安装完成后&#xff0c;打开cmd,查看环境是否准备好 node -v npm -vnpm使用之前一定…

Java 之集成 DataX 数据同步工具

1、官网下载 DataX https://github.com/alibaba/DataX 2、将依赖添加到本地&#xff08;DataX没有maven坐标&#xff0c;需要自己安装&#xff09; mvn install:install-file -Dfile"datax-common-0.0.1.jar" "-DgroupIdcom.datax" "-DartifactIdda…

OpenEuler学习笔记(三十五):搭建代码托管服务器

以下是主流的代码托管软件分类及推荐&#xff0c;涵盖自托管和云端方案&#xff0c;您可根据团队规模、功能需求及资源情况选择&#xff1a; 一、自托管代码托管平台&#xff08;可私有部署&#xff09; 1. GitLab 简介: 功能全面的 DevOps 平台&#xff0c;支持代码托管、C…

pikachu

暴力破解 基于表单的暴力破解 【2024版】最新BurpSuit的使用教程&#xff08;非常详细&#xff09;零基础入门到精通&#xff0c;看一篇就够了&#xff01;让你挖洞事半功倍&#xff01;_burpsuite使用教程-CSDN博客 登录页面&#xff0c;随意输入抓包&#xff0c;发送到攻击…

Springboot基础篇(3):Bean管理

前言&#xff1a;Spring 通过扫描类路径&#xff08;Classpath&#xff09;来查找带有特定注解&#xff08;如 Component、Service、Repository 等&#xff09;的类&#xff0c;并将它们注册为 Spring 容器中的 Bean。 1 Bean扫描 Bean 扫描是 Spring 框架的核心功能之一&…

VidSketch:具有扩散控制的手绘草图驱动视频生成

浙大提出的VidSketch是第一个能够仅通过任意数量的手绘草图和简单的文本提示来生成高质量视频动画的应用程序。该方法训练是在单个 RTX4090 GPU 上进行的&#xff0c;针对每个动作类别使用一个小型、高质量的数据集。VidSketch方法使所有用户都能使用简洁的文本提示和直观的手绘…

Vulhub靶机 Apache APISIX Dashboard RCE(CVE-2021-45232)(渗透测试详解)

一、开启vulhub环境 docker-compose up -d 启动docker ps 查看开放的端口 影响范围 2.7 ≤ Apache APISIX Dashboard < 2.10.1 二、访问靶机IP 9080端口 1、下载利用脚本&#xff0c;并利用 https://github.com/wuppp/apisix_dashboard_rce 这里需要注意IP的端口为9000…

Python - Python连接数据库

Python的标准数据库接口为&#xff1a;Python DB-API&#xff0c;Python DB-API为开发人员提供了数据库应用编程接口。 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个实现库&#xff0c;Python2中则使用mysqldb。 PyMySQL 遵循 Python 数据库 API v2.0 规范&…

Windows 11【1001问】Windows 11 都有哪些版本?

随着Windows 11的普及&#xff0c;越来越多的用户开始关注其不同版本及其分支版本之间的差异。在此之前&#xff0c;我们已经通过一系列文章详细介绍了Windows 11的基本概念、硬件配置要求、系统镜像下载方法以及多种安装方式。从使用Rufus和UltraISO软碟通制作Windows 11系统安…