Elasticsearch 8.16:适用于生产的混合对话搜索和创新的向量数据量化,其性能优于乘积量化 (PQ)

作者:来自 Elastic Ranjana Devaji, Dana Juratoni

Elasticsearch 8.16 引入了 BBQ(Better Binary Quantization - 更好的二进制量化)—— 一种压缩向量化数据的创新方法,其性能优于传统方法,例如乘积量化 (Product Quantization - PQ)。Elastic 是第一家实施这种方法的向量数据库供应商,它使此功能可用于实际搜索工作负载,减少必要的计算资源,同时保持低查询延迟和高排名质量。

此版本还带来了倒数排名融合 (Reciprocal Rank Fusion - RRF)、检索器和开放推理 API 的正式发布,以及一套全面的工具,用于简化工作流程以构建基于混合搜索和检索增强生成 (retrieval augmented generation - RAG) 的应用程序。

Elasticsearch 8.16 现已在 Elastic Cloud 上提供 —— 这是唯一一款包含此最新版本所有新功能的托管 Elasticsearch 产品。这些功能也可在 Elastic Cloud 上完全托管的无服务器 Elasticsearch 项目中使用。你还可以下载 Elastic Stack 和我们的云编排产品 —— Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes —— 以获得自我管理体验。

要开始使用 Elasticsearch 进行本地开发运行,请查看我们的 start-local 脚本,以便在几分钟内在笔记本电脑上进行本地部署。

curl -fsSL https://elastic.co/start-local | sh

Elastic 8.16 还有哪些新功能?查看 8.16 公告帖子了解更多信息 >>

Elastic 实现了 BBQ

认识 Better Binary Quantization (BBQ),这是一种针对象量数据的尖端优化,可在不影响准确性的情况下将向量数据的压缩率提高 32 倍。Elastic 很自豪能够率先为分布式可扩展 Elasticsearch 向量数据库的用户提供此功能,以减少和扩展依赖于大型数据集的工作负载。

此功能最初仅供 Elastic 客户使用,但将迅速贡献给 Lucene 社区,以提升所有向量存储的潜在功能。

BBQ 保持了高排名质量,同时实现了与标量量化几乎相同的速度和存储效率。其高压缩级别使组织能够有效地管理大型数据集并以可承受的价格扩展其向量存储和搜索操作。此外,BBQ 可将内存使用量减少 95% 以上,同时在数据集扩展时仍能保持出色的召回率。它还可以轻松地与 Elasticsearch 中的其他量化方法结合使用,以最大限度地提高效益。

混合对话式搜索,更多工具,更简单

混合搜索是管理搜索体验相关性的关键技术。通过将词汇关键字搜索的精确度与语义搜索的上下文理解相结合,电子商务目录搜索可以在获得语义理解的同时保持精确度。此外,RAG 和对话式搜索体验可以减少 LLM 上下文带来的幻觉。

虽然有几种方法可以实现混合搜索,包括对分数进行加权,但在检索方法之间规范分数的最简单方法是 RRF。Elastic 首次在 8.8 中将 RRF 作为技术预览版进行集成,随后将可组合检索器(retrievers)抽象引入查询 DSL,从而简化了使用。这些功能的结合使构建混合搜索变得像对 /_search 进行一次查询调用一样简单。

以下是结合三种检索器的伪代码 —— 一种用于匹配查询,一种用于向量 (kNN) 查询,另一种用于简单的语义查询(使用推理 API 中指定的推理服务)。这三个检索器结果可以通过 RRF 快速规范化。另外,还有一个检索器,可轻松进行 semantic_reranking,以实现第二阶段检索并提高相关性。对于你的生产工作负载来说,完整的相关性功能堆栈可以如此简单!

"retriever": {"text_similarity_reranker": {// ... semantic reranking parameters"retriever": {"rrf": {"retrievers": [{"standard": {"query"."semantic": {"field": "a-semantic_text-field","query": "why are retrievers fun?"}}},{"knn": {// ... knn parameters // ... query_vector_builder parameters"model_text": "why are retrievers fun?" }}}},{"standard": {"query"."match": {"some-field": "why are retrievers fun?"
}}}}]}}}}

现在,这两项关键功能(检索器和倒数秩融合 (RRF))均已向企业许可客户正式开放,从而增强了可组合性和性能,以实现自信的生产部署。8.16 支持多级嵌套,每个级别都提供所有功能,为学习排序 (Learning to Rank - LTR) 和基于规则的检索器铺平了道路。

厌倦了不相关的搜索结果?使用排除查询规则( exclude Query Rules)轻松排除特定结果,确保你的用户获得更准确、更集中的搜索结果。

Elastic 的开放推理 API(open inference API - 现在也已普遍可用)使你能够创建端点并使用来自流行推理提供商的机器学习模型。这些端点可以在 semantic_text 中用于轻松检索,检索器可用于语义查询、kNN 查询和语义重新排序(semantic reranking)。我们的集成推理提供商目录包括 Anthropic、Mistral、Cohere 等!在 8.16 中,我们现在提供对 Watsonx.ai Slate 嵌入模型和阿里云 AI 嵌入模型的支持、重新排序功能以及对 Qwen LLM 系列的完成支持。

此外,semantic_text 现在支持新的可调整分块选项,使用户可以灵活地修改我们针对向量化数据的原生分块策略,从单词分块改为句子,并调整分块窗口大小。

客户还可以在其摄取管道中使用推理 API 中的 completion 任务类型来丰富文档处理和摘要存储。这与我们的 Elastic 集成目录(例如 Elastic Open Web Crawler 和连接器)特别匹配。

增强开发人员体验

出色的搜索体验由开发人员构建。Kibana 已更新,包括使 Kibana 体验更好的功能,可以迭代机器学习和调优的所有潜在组合。在代码和 Kibana 中快速执行此操作的能力可以加速对点击转化率产生积极影响的变化,或完善对组织的关键见解的总结。

首先从可自定义的导航(navigation)选项开始,开发人员可以直接访问重要的工具。

Playground 已增强会话持久性和支持后续问题的能力。使用 Playground 进行 PDF 或 Word 文档上传更加容易,使文件实验更快、更高效。结合将开发控制台请求导出到 Python 和 Javascript 的能力,迭代和合并到你首选的开发环境中只是一个复制命令。

利用 8.16 的开源创新,该版本具有 Elastic Open Web Crawler(目前为测试版),可通过 CLI 进行管理,以实现高效的网站数据采集并将向量数据存储在 Elasticsearch 的顶级向量数据库中。此外,使用新的 start-local 功能,几分钟内即可开始使用,只需一步即可在本地启动 Elasticsearch 和 Kibana,以进行快速试用和评估。

用于搜索的 Elastic AI 助手

使用内置的用于搜索的 Elastic AI 助手改善你使用 Elasticsearch 和 Kibana 的方式。你不仅可以利用 Elastic 的功能构建自己的基于 RAG 的对话代理或应用程序,还可以利用开箱即用的加速入门功能并在 Elastic 部署中获得帮助。

所有 Elastic AI 助手都受益于自定义知识 — 引入和导入你的知识库或使用现有索引来使用自定义的 AI 驱动帮助中心,让你的团队快速掌​​握 Elastic 的强大功能。Web 爬虫和连接器(connectors )可用于增强和同步存储你知识的第三方数据源并个性化你的 Elastic AI 助手体验。

试用

阅读发行说明,了解这些功能及其他信息。

现有的 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。还未在云端使用 Elastic?立即开始免费试用。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中,我们可能使用或提及了第三方生成式 AI 工具,这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具,我们对其内容、操作或使用不承担任何责任,也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时,请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息将得到安全或保密。在使用任何生成式 AI 工具之前,你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关商标是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Elasticsearch 8.16: Better Binary Quantization (BBQ) — A better way to quantize vector data over Product Quantization (PQ) and production-ready hybrid conversational search | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/471119.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

androidstudio下载gradle慢

1,现象: 2,原因,国内到国外网址慢 3,解决方法:更改gradle-wrapper.properties #Wed Sep 26 20:01:52 CST 2018 distributionBaseGRADLE_USER_HOME distributionPathwrapper/dists zipStoreBaseGRADLE_USER…

浅谈:基于三维场景的视频融合方法

视频融合技术的出现可以追溯到 1996 年 , Paul Debevec等 提出了与视点相关的纹理混合方法 。 也就是说 , 现实的漫游效果不是从摄像机的角度来看 , 但其仍然存在很多困难 。基于三维场景的视频融合 , 因其直观等特效在视频监控等相关领域有着…

探索Python的HTTP利器:Requests库的神秘面纱

文章目录 **探索Python的HTTP利器:Requests库的神秘面纱**一、背景:为何选择Requests库?二、Requests库是什么?三、如何安装Requests库?四、Requests库的五个简单函数使用方法1. GET请求2. POST请求3. PUT请求4. DELET…

【算法一周目】双指针(2)

目录 有效三角形的个数 解题思路 C代码实现 和为s的两个数字 解题思路 C代码实现 三数之和 解题思路 C代码实现 四数之和 解题思路 C代码实现 有效三角形的个数 题目链接:611. 有效三角形的个数题目描述:给定一个包含非负整数的数组nums&…

基于Python的网上银行综合管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…

C++编程技巧与规范-类和对象

类和对象 1. 静态对象的探讨与全局对象的构造顺序 静态对象的探讨 类中的静态成员变量(类类型静态成员) 类中静态变量的声明与定义&#xff08;类中声明类外定义&#xff09; #include<iostream> using namespace std;namespace _nmspl {class A{public:A():m_i(5){…

边缘的检测

边缘检测效果&#xff0c;是一种用于突出图像中的边缘&#xff0c;使物体的轮廓更加明显的图像处理技术&#xff0c;边缘检测的主要目的是找到图像中亮度变化显著的区域&#xff0c;这些区域通常对应于物体的边界&#xff0c;边缘检测相当于利用 Shader 代码自动给屏幕图像进行…

HP G10服务器ESXI6.7告警提示ramdisk tmp已满

物理服务器是HP G10 VCENTER内两台服务器报错提示ramdisk"tmp"已满&#xff0c;无法写入文件 登录ESXI命令行后发现两台主机的/tmp目录都没有空间了 定位到是ams-bbUsg.txt文件占用了大量的空间 1、关闭集群的DRS功能 2、迁移当前主机上面运行的所有虚拟机至其他主…

深度学习中的感受野:从基础概念到多层次特征提取

在深度学习&#xff0c;特别是计算机视觉任务中&#xff0c;感受野&#xff08;Receptive Field&#xff09;是一个至关重要的概念。它指的是在神经网络中某一层的神经元在输入图像上“看到”的区域大小。感受野的大小影响了网络能捕捉的特征层级&#xff0c;从而决定了它的特征…

Diffusion Policy——斯坦福机器人UMI所用的扩散策略:从原理到其编码实现(含Diff-Control、ControlNet详解)

前言 本文一开始是属于此文《UMI——斯坦福刷盘机器人&#xff1a;从手持夹持器到动作预测Diffusion Policy(含代码解读)》的第三部分&#xff0c;考虑后Diffusion Policy的重要性很高&#xff0c;加之后续还有一系列基于其的改进工作 故独立成本文&#xff0c;且写的过程中 …

【数据结构与算法】第12课—数据结构之归并排序

文章目录 1. 归并排序2. 计数排序3. 排序算法复杂度及稳定性分析在这里插入图片描述 1. 归并排序 分治法&#xff08;Divide and Conquer&#xff09;是一种重要的算法设计策略&#xff0c;其核心思想是将一个复杂的大问题分解为若干个小规模的子问题&#xff0c;递归地解决这些…

2024 年 Apifox 和 Postman 对比介绍详细版

Apifox VS Postman &#xff0c;当下流行的的两款 API 开发工具&#xff0c;2024 版对比&#xff01;

vue请求数据报错,设置支持跨域请求,以及2种请求方法axios或者async与await

设置跨域 通过vite创建的项目&#xff0c;一般会在你项目文件中自动生成一个名为vite.config文件&#xff0c;点击添加支持跨域的代码 import { defineConfig } from vite import vue from vitejs/plugin-vue// https://vitejs.dev/config/ export default defineConfig({plu…

【ACM出版】第四届信号处理与通信技术国际学术会议(SPCT 2024)

& 第四届信号处理与通信技术国际学术会议&#xff08;SPCT 2024&#xff09; 2024 4th International Conference on Signal Processing and Communication Technology 2024年12月27-29日 中国深圳 www.icspct.com 第四届信号处理与通信技术国际学术会议&#x…

【大数据学习 | HBASE高级】rowkey的设计,hbase的预分区和压缩

1. rowkey的设计 ​ RowKey可以是任意字符串&#xff0c;最大长度64KB&#xff0c;实际应用中一般为10~100bytes&#xff0c;字典顺序排序&#xff0c;rowkey的设计至关重要&#xff0c;会影响region分布&#xff0c;如果rowkey设计不合理还会出现region写热点等一系列问题。 …

基于微信小程序的农场管理系统的设计与实现,LW+源码+讲解

1.2 课题意义 现如今&#xff0c;信息种类变得越来越多&#xff0c;信息的容量也变得越来越大&#xff0c;这就是信息时代的标志。近些年&#xff0c;计算机科学发展得也越来越快&#xff0c;而且软件开发技术也越来越成熟&#xff0c;因此&#xff0c;在生活中的各个领域&…

学习记录:js算法(九十二):克隆图

文章目录 克隆图思路一 克隆图 给你无向 连通 图中一个节点的引用&#xff0c;请你返回该图的 深拷贝&#xff08;克隆&#xff09;。 图中的每个节点都包含它的值 val&#xff08;int&#xff09; 和其邻居的列表&#xff08;list[Node]&#xff09;。 class Node {public int…

大数据新视界 -- 大数据大厂之 Impala 性能飞跃:动态分区调整的策略与方法(上)(21 / 30)

&#x1f496;&#x1f496;&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎你们来到 青云交的博客&#xff01;能与你们在此邂逅&#xff0c;我满心欢喜&#xff0c;深感无比荣幸。在这个瞬息万变的时代&#xff0c;我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

win11 新建一个批处理,双击查看本机的IP地址

1、先上个图&#xff1a; 2、bat的代码&#xff1a; :: 获取本机 IP 地址 &#xff1a; 只显示ip echo off for /f "tokens2 delims:" %%a in (ipconfig ^| findstr /i "IP 地址") do set IP%%a echo %IP%pause 3、新建一个文件比如叫ip.bat&#xff0c;…

Spring高手之路26——全方位掌握事务监听器

文章目录 1. 什么是Spring事务监听器&#xff1f;2. 通过TransactionSynchronization 接口实现事务监听器3. 时序图&#xff1a;通过TransactionSynchronization 接口实现事务监听器4. TransactionalEventListener注解实现事务监听器5. 时序图&#xff1a;TransactionalEventLi…