九章云极DataCanvas公司DingoDB完成中国信通院权威多模数据库测试

在这里插入图片描述

2024年5月16日,九章云极DataCanvas公司自主研发和设计的开源多模向量数据库DingoDB顺利完成中国信息通信研究院(以下简称中国信通院)多模数据库产品测试。本次测试的成功标志着DingoDB在技术能力、性能表现和产品稳定性方面得到了权威机构的高度认可,并进一步印证其为用户提供可靠高效数据管理解决方案的能力,以及在多模数据库领域的领先地位和卓越品质。目前,DingoDB已完成中国信通院《向量数据库标准》和《多模数据库技术要求》两大数据库领域的重量级测试。
在这里插入图片描述

图1 DingoDB多模向量数据库的多重能力

中国信通院作为国家级科研机构,承担了多项国家级重大科研任务和标准制定工作,具有极高的权威性和公信力,其测试和认证在业内广受认可。中国信通院定期对数据库产品进行全面测试,为用户选择合适的数据库产品提供权威指南,本次多模数据库产品测试正是基于《多模数据库技术要求》的标准。该标准由中国信通院云计算与大数据研究所联合多家企业专家制定,涵盖了多模数据库的基本能力、管理能力、兼容能力、安全能力、扩展能力、高可用等六大能力域,共33个测试项(包括21个必选项和12个可选项),测试产品需要满足所有必选项方可通过。

DingoDB——功能完全内建的数据库,而非多组件的简单堆砌

DingoDB集成了关系型、文档、向量和键值四种数据模型,能为用户提供高效多模型数据库解决方案。区别于市场上很多多模数据库厂商,它不是多个数据模型组件的简单堆砌,而是一款具备在线强一致性的完全内建的数据库。

DingoDB产品特性:

  • 企业级存储可靠性:基于Multi-Raft多副本存储,确保数据强一致性,满足企业级容灾需求。

  • 多模数据联合检索:支持通过SQL进行执行关系、向量、文档的联合检索,并提供丰富的索引类型,简化RAG应用的开发复杂度,满足各种场景需求。

  • 多模数据库的能力:部署一套DingoDB即可拥有键值缓存加速、关系数据库和向量数据库和文档的服务能力,减少多个数据库系统的维护和管理成本,提高整体系统的效率和灵活性。

  • 兼容MySQL协议:用户可以直接使用原生的MySQL客户端访问,无需学习新的数据库语法和工具,降低用户的使用门槛。

  • 水平扩缩容:基于存算分离的架构设计,DingoDB能够实现对性能和资源的一键水平扩容和缩容,使得企业能够根据业务需求快速调整数据库规模,有效应对流量变化。

  • 多存储引擎兼容:支持多种存储引擎,使得企业可以根据业务特点选择最适合的存储引擎,最大化性能效益。

  • 分布式事务:支持多种数据模态下的分布式事务,同时提供多种隔离级别,既兼容乐观事务和悲观事务,确保事务在分布式环境下的完整性和一致性。

  • 多租户支持:原生支持多租户,服务隔离防止数据泄露与干扰。支持请求级动态流控,灵活分配资源。支持混合存储与按租户和资源组隔离,确保资源的合理分配和高效利用。

  • 开源开放:完整开放数据库源代码,提供丰富的多语言SDK及详尽的开发文档,满足用户在不同应用开发场景中的需求。

DingoDB场景应用:

1)基于RAG技术的场景的应用

DingoDB覆盖关系型、文档、向量和键值等多种数据模型的特点,使得它在基于RAG技术(Retrieval Augmented Generation)的场景中得到广泛应用,例如企业知识管理场景。该场景的目标是从海量的技术文档中找到与问题相关的片段并生成回答。这个过程需要结合大语言模型(LLM,large language model)和多模数据库的能力。其中,LLM因为无法直接生成与技术内容相关的答案,只起到辅助性作用,效果好坏是由执行检索任务的多模数据库决定。在该场景,DingoDB提供两种不同的检索方式来召回相关文本数据,包括向量检索和关键词检索。向量检索依赖于DingoDB的向量数据库功能,而关键词检索则依赖于其文档数据库功能。这种多模检索方式能有效提高生成内容的准确性、连贯性和信息量,确保用户获得更高质量的响应。

使用DingoDB的企业知识管理场景的流程如下(图2),分为下列三个步骤:
在这里插入图片描述

图2 基于DingoDB多模向量数据库的RAG构建流程

Step1.文档解析入库

将企业的技术文档上传,通过Text Splitter模块进行分割,生成多个文本块(段落、句子等)。对文本块进行标注提取,生成标题或标签,便于检索。对于包含表格的数据,生成描述性句子,确保表格内容能被准确理解和检索。最后,通过Embedding模型将文本块向量化,生成用于向量检索的表示,存入DingoDB。

Step2. 基于DingoDB的向量检索和关键词检索

用户提出问题后,通过Embedding模型生成向量表示,在DingoDB中进行向量检索,找到最相关的多个文本块。关键词检索是为解决用户口头表达与专业文档不匹配而造成的检索不准确问题。关键词检索通过LLM提取关键词,输入DingoDB进行关键词匹配(match召回),找到相关文本块。DingoDB支持标量向量联合检索,结合关键词匹配和向量召回进行混合召回,返回TopN相关文本块。

Step3. 答案生成

将检索到的TopN相关文本块通过预定义的Prompt模板传递给LLM,由LLM生成详细且准确的答案。

综上所述,在大语言模型时代的RAG典型应用企业知识管理场景,DingoDB可以高效地处理和检索海量技术文档,提供精准、及时的答案,支持企业内部的信息查询和知识管理。依托该场景,DingoDB在多家央企客户得到应用。

2)分布式KV场景的应用

在金融行业的实时风控、反欺诈、精准营销、产品推荐等需要亚秒级决策的场景,DingoDB以其高性能和低延迟的特点,轻松驾驭亚秒级大规模数据处理与分析,为实时决策提供坚实的服务支撑。DingoDB采用先进的数据复制与故障转移机制,并通过持久化技术确保数据安全可靠。同时,能根据业务需求灵活扩展计算与存储资源,从容应对数据处理需求的持续增长。DingoDB具备满足信创标准的高频Serving计算能力,使企业在面对实时数据处理和决策时能够快速响应。

3)其他场景的应用

除上述两类场景,DingoDB还在多种丰富场景应用中展现了其强大的功能和多样化的能力(图3)。

在这里插入图片描述

图3 DingoDB多模向量数据库支撑多种业务场景

Vector Ocean数据支撑:Vector Ocean是九章云极DataCanvas对数据架构的一种全新设想。DingoDB在Vector Ocean中提供结构化和非结构化数据的存储,支持多模态数据分析能力和科学计算能力。其强大的数据处理能力使得企业能够在一个平台上处理多种数据类型,简化数据管理流程。

大模型记忆体:DingoDB辅助大语言模型生成前的Prompt管理,提供高效并发的搜索答案能力。这在大语言模型时代尤为重要,能够为AI模型提供可靠的数据支持,提升模型生成答案的准确性和效率。

结构化与非结构化数据的融合分析:DingoDB支持音频、视频、文本等非结构化数据的向量化存储,提供结构化与向量数据的联合分析和计算能力。这种融合分析能力使得企业能够从多维度进行数据分析,获取更全面的洞察。

总结

综上所述,DingoDB作为一款多模数据库,在企业知识管理、实时决策、数据支撑、大语言模型应用以及多类型数据检索和分析等方面展现出强大的应用能力,获得了广泛的认可和好评。DingoDB不仅可以充当海量数据的存储中心,还是推动数据驱动决策的核心动力。在数字化转型的浪潮中,DingoDB成为传统业务与前沿技术的重要桥梁。无论是云计算的高效处理、大数据的深度分析、人工智能的智能决策,还是物联网的实时数据交换,DingoDB都能提供坚实的数据分析和处理支撑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/336165.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

go语言的使用方法

一.go语言的介绍 1.简介 2.应用领域 3.使用go语言的公司 4.go语言开发工具介绍 5.go语言开发环境搭建 【1】搭建Go开发环境-安装和配置SDK 基本介绍: 1).SDK的全称(Software Development Kit软件开发工具包)2).SDK是提供给开发人员使用的,其中包含了…

蓝海卓越计费管理系统 agent_setstate.php SQL注入漏洞复现

0x01 产品简介 蓝海卓越计费管理系统是一套以实现网络运营为基础,增强全局安全为中心,提高管理效率为目的的网络安全运营管理系统,提供“高安全、可运营、易管理”的运营管理体验,基于标准的RADIUS协议开发,它不仅支持PPPOE和WEB认证计费,还支持802.1X接入控制技术,与其…

详解 HTML5 服务器发送事件(Server-Sent Events)

HTML5 服务器发送事件(server-sent event)允许网页获得来自服务器的更新。 EventSource 是单向通信的(是服务器向客户端的单向通信,客户端接收来自服务器的事件流)、基于 HTTP 协议(EventSource 是基于标准…

5.29_Java程序流程控制

CSDN 同C语言的流程同 1、补充: 1、switch使用时的注意事项 1、表达式只能是byte、short、int、char,JDK5开始支持枚举,JDK7开始支持String、不支持double、float、long switch里面是做分支匹配,也就是可以出现很多分支&am…

JavaScript-JavaWeb

目录 什么是JavaScript? js引入方式 js基础语法 书写语法 变量 数据据类型 运算符 类型转换 流程语句 js函数 js对象 1.Array 2.String 3.JSON js事件监听 什么是JavaScript? ● JavaScript(简称:JS)是一门跨平台、面向对象的脚本语言。是用来控制网页行为的,它能…

前缀和(下)

目录 热身: 寻找数组的中心下标 题解: 代码: 进阶: 除自身之外数组的乘积 题解: 代码: 和为K的子数组 题解: 代码: 和可被 K 整除的子数组 题解: 同余定理…

mysql - 索引原理

mysql索引原理 文中的查询, 以该表结构为例 CREATE TABLE user (id int NOT NULL COMMENT id,name varchar(255) COLLATE utf8mb4_bin NOT NULL COMMENT 姓名,age int NOT NULL COMMENT 年龄,sex tinyint(1) NOT NULL COMMENT 性别,phone varchar(255) CHARACTER SET utf8mb4…

esp32-idf 开发踩坑记录

现象 直接使用原始命令编译idf.py build 但是提示idf 版本错误 卸载旧版本 编译出错build 问题 然后删除编译文件后,重新编译,还是出错 解决方法1 最后发现是因为项目所在文件夹有中文目录,把项目迁移到英文目录后,重新编译&a…

⌈ 传知代码 ⌋ YOLOv9最新最全代码复现

💛前情提要💛 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间,对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦&#x…

【WEB前端2024】开源智体世界:乔布斯3D纪念馆-第29课-会员制展厅

【WEB前端2024】开源智体世界:乔布斯3D纪念馆-第29课-会员制展厅 使用dtns.network德塔世界(开源的智体世界引擎),策划和设计《乔布斯超大型的开源3D纪念馆》的系列教程。dtns.network是一款主要由JavaScript编写的智体世界引擎&…

【ESP32之旅】ESP32 PlatformIO 固件单独烧录

背景 有时候使用PIO编写的代码需要发给客户去验证,相比较于发送源码直接发送bin文件,更加的安全而且高效。不用担心源码的泄漏,也不用帮客户配置PIO环境。 操作方法 1.编译 首先进行代码编译,如编译成功会在 .pio\build\airm2…

光耦的工作原理

一、光电耦合器简介 光电耦合器主要是一种围绕光作为媒介的光电转换元器件,能够实现光到电、电到光之间的自由转换。我们又可以称之为光电隔离器,之所以这么称呼,主要是因为光电耦合器能够很好的对电路中的电信号起到隔离的作用。有效的保护…

基于java实现图片中任意封闭区域识别

需求: 在浏览器中给用户呈现一张图片,用户点击图片中的某些标志物,需要系统给出标志物的信息反馈,达到一个交互的作用。 比如下图中,点击某个封闭区域时候,需要告知用户点击的区域名称及图形形状特性等等。…

微信网页版登录插件v1.1.1

说到如今的微信客户端,大家肯定会有很多提不完的意见或者建议。比如这几年体积越来越大,如果使用频率比较高,那占用空间就更离谱了。系统迷见过很多人电脑C盘空间爆满,都是由于微信PC版造成的。 而且,它还加了很多乱七…

No input file specified.(‘.user.ini’文件问题宝塔复制到本地,其他情况可跳过)

症状 病因 一般是宝塔直接copy到本地的情况。 宝塔面板中的.user.ini文件是一个重要的配置文件,它主要用于配置PHP运行环境和网站环境。以下是.user.ini文件的主要作用和操作建议: 防止跨目录访问和文件跨目录读取。这是.user.ini文件的主要作用之一&a…

程序猿转型做项目经理一定要注意这 5 个坑

前言 国内的信息系统项目经理,很多都是从技术骨干转型的,我就是这样一路走过来的,这样有很多好处,比如技术过硬容易服众、熟悉开发流程更容易把控项目进度和质量、开发过程中碰到难题时更好组织攻坚等等,但是所谓成也…

Python小游戏——打砖块

文章目录 打砖块游戏项目介绍及实现项目介绍环境配置代码设计思路代码设计详细过程 难点分析源代码代码效果 打砖块游戏项目介绍及实现 项目介绍 打砖块游戏是一款经典的街机游戏,通过控制挡板来反弹小球打碎屏幕上的砖块。该项目使用Python语言和Pygame库进行实现…

MySQL建库

删除数据库 新建数据库 右键-新建数据库 字符集选中utf8(支持中文) 修改字符集 右键--数据库的属性 将字符集支持的数量变少可以修改

大模型“1元购”?AI公司加速奔向应用端“大航海时代”

自字节跳动发布豆包大模型,互联网大厂纷纷就位,击穿“地板价”的打法从C端向B端拓展。这也成为今年“618”最亮眼的价格战。 5月15日,字节跳动率先宣布豆包大模型已通过火山引擎开放给企业客户,大模型定价降至0.0008元/千Tokens&…

RAG 高级应用:基于 Nougat、HTML 转换与 GPT-4o 解析复杂 PDF 内嵌表格

一、前言 RAG(检索增强生成)应用最具挑战性的方面之一是如何处理复杂文档的内容,例如 PDF 文档中的图像和表格,因为这些内容不像传统文本那样容易解析和检索。前面我们有介绍过如何使用 LlamaIndex 提供的 LlamaParse 技术解析复…