基于火山引擎云搜索的混合搜索实战

在搜索应用中，传统的 Keyword Search 一直是主要的搜索方法，它适合精确匹配查询的场景，能够提供低延迟和良好的结果可解释性，但是 Keyword Search 并没有考虑上下文信息，可能产生不相关的结果。最近几年，基于向量检索技术的搜索增强技术 Semantic Search 越来越流行，通过使用机器学习模型将数据对象(文本、图像、音视频等)转化成向量，向量距离代表对象间的相似性，如果使用的模型和问题领域相关性高，则往往能更好地理解上下文和搜索意图，进而提高搜索结果的相关性，反之，如果模型和问题领域相关性不高，则效果会大打折扣。

Keyword Search 和 Semantic Search 都存在明显的优劣势，那么是否可以通过组合它们的优点来整体提高搜索的相关性？答案是，简单的算术组合并不能收到预期的效果，主要原因有两个：

  • 首先是不同类型查询的评分并不在同一个可比较的维度，因此不能直接进行简单的算术计算。

  • 其次是在分布式检索系统中，评分通常在分片级别，需要对所有分片的评分进行全局归一化处理。

综上，我们需要寻找一种理想的查询类型来解决这些问题，它能单独执行每个查询子句，同时收集分片级别的查询结果，最后对所有查询的评分进行归一化合并后返回最终的结果，这就是混合搜索(Hybrid Search) 方案。

通常一次混合搜索查询可以分为以下几步：

  1. 查询阶段：使用混合查询子句进行 Keyword Search 和 Semantic Search。

  2. 评分归一化和合并阶段，该阶段在查询阶段之后。

    1. 由于每种查询类型都会提供不同范围的评分，该阶段对每一个查询子句的评分结果执行归一化操作，支持的归一化方法有 min_max、l2、rrf。

    2. 对归一化后的评分进行组合，组合方法有 arithmetic_mean、geometric_mean、harmonic_mean。

  3. 根据组合后的评分对文档重新排序并返回给用户。

实现思路

从前面原理介绍，我们可以看到要实现一个混合检索应用，至少需要用到这些基础技术设施

  • 全文检索引擎

  • 向量检索引擎

  • 用于向量 Embedding 的机器学习模型

  • 将文本、音频、视频等数据转化成向量的数据管道

  • 融合排序

火山引擎云搜索构建在开源的 Elasticsearch 和 OpenSearch 项目上，从第一天上线就支持了完善成熟的文本检索和向量检索能力，同时针对混合搜索场景也进行了一系列的功能迭代和演进，提供了开箱即用的混合搜索解决方案。本文将以图像搜索应用为例，介绍如何借助火山引擎云搜索服务的解决方案快速开发一个混合搜索应用。

其端到端流程概括如下：

  1. 配置创建相关对象

    1. Ingestion Pipeline：支持自动调用模型把图片转换向量并存到索引中

    2. Search Pipeline：支持把文本查询语句自动转换成向量以便进行相似度计算

    3. k-NN索引：存放向量的索引

  2. 将图像数据集数据写入 OpenSearch 实例，OpenSearch 会自动调用机器学习模型将文本转为 Embedding 向量。

  3. Client 端发起混合搜索查询时，OpenSearch 调用机器学习模型将传入的查询转为 Embedding 向量。

  4. OpenSearch 执行混合搜索请求处理，组合 Keyword Seach 和 Semantic Seach 的评分，返回搜索结果。

方案实战

环境准备

1.登录火山引擎云搜索服务（https://console.volcengine.com/es），创建实例集群，版本选择 OpenSearch 2.9.0。

2.待实例创建完毕，启用 AI 节点。

3.在模型选择上，可以创建自己的模型，也可以选择公共模型。这里我们选择公共模型，完成配置后，点击立即启动。

至此，准备好了 OpenSearch 实例和混合搜索所依赖的机器学习服务。

数据集准备

使用 Amazon Berkeley Objects Dataset（https://registry.opendata.aws/amazon-berkeley-objects/）作为数据集，数据集无需本地下载，直接通过代码逻辑上传到 OpenSearch，详见下面代码内容。

操作步骤

安装 Python 依赖

pip install -U elasticsearch7==7.10.1
pip install -U pandas
pip install -U jupyter
pip install -U requests
pip install -U s3fs
pip install -U alive_progress
pip install -U pillow
pip install -U ipython

连接到 OpenSearch

# Prepare opensearch info
from elasticsearch7 import Elasticsearch as CloudSearch
from ssl import create_default_context
# opensearch info
opensearch_domain = '{{ OPENSEARCH_DOMAIN }}'
opensearch_port = '9200'
opensearch_user = 'admin'
opensearch_pwd = '{{ OPENSEARCH_PWD }}'
# remote config for model server
model_remote_config = {"method": "POST","url": "{{ REMOTE_MODEL_URL }}","params": {},"headers": {"Content-Type": "application/json"},"advance_request_body": {"model": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"}
}
# dimension for knn vector
knn_dimension = 384
# load cer and create ssl context
ssl_context = create_default_context(cafile='./ca.cer')
# create CloudSearch client
cloud_search_cli = CloudSearch([opensearch_domain, opensearch_port],ssl_context=ssl_context,scheme="https",http_auth=(opensearch_user, opensearch_pwd))
# index name
index_name = 'index-test'# pipeline id
pipeline_id = 'remote_text_embedding_test'
# search pipeline id
search_pipeline_id = 'rrf_search_pipeline_test'

1.填入 OpenSearch 链接地址和用户名密码信息。model_remote_config 是远程机器学习模型连接配置，可在模型调用信息查看，将调用信息中的 remote_config 配置全部复制到 model_remote_config。

2.在实例信息->服务访问部分，下载证书到当前目录。

3.给定索引名称、Pipeline ID 和 Search Pipeline ID。

创建 Ingest Pipeline

创建 Ingest Pipeline，指定使用的机器学习模型，将指定字段转换为向量后嵌入回去。如下，将 caption 字段转为向量存储到 caption_embedding 中。

# Create ingest pipeline
pipeline_body = {"description": "text embedding pipeline for remote inference","processors": [{"remote_text_embedding": {"remote_config": model_remote_config,"field_map": {"caption": "caption_embedding"}}}]
}
# create request
resp = cloud_search_cli.ingest.put_pipeline(id=pipeline_id, body=pipeline_body)
print(resp)

创建 Search Pipeline

创建查询需要使用的 Pipeline，配置好远程模型。

支持的归一化方法和加权求和方法：

  • 归一化方法：min_max，l2，rrf

  • 加权求和方法：arithmetic_mean，geometric_mean，harmonic_mean

这里选择 rrf 归一化方法。

# Create search pipeline
import requests
search_pipeline_body = {"description": "post processor for hybrid search","request_processors": [{"remote_embedding": {"remote_config": model_remote_config}}],"phase_results_processors": [  # normalization and combination{"normalization-processor": {"normalization": {"technique": "rrf",  # the normalization technique in the processor is set to rrf"parameters": {"rank_constant": 60  # param}},"combination": {"technique": "arithmetic_mean",  # the combination technique is set to arithmetic mean"parameters": {"weights": [0.4,0.6]}}}}]
}
headers = {'Content-Type': 'application/json',
}
# create request
resp = requests.put(url="https://" + opensearch_domain + ':' + opensearch_port + '/_search/pipeline/' + search_pipeline_id,auth=(opensearch_user, opensearch_pwd),json=search_pipeline_body,headers=headers,verify='./ca.cer')
print(resp.text)

创建 k-NN 索引

  1. 将事先创建好的 Ingest Pipeline 配置到 index.default_pipeline 字段中；

  2. 同时，配置 properties，将 caption_embedding 设置为 knn_vector，这里使用 faiss 中的 hnsw。

# Create k-NN index
# create index and set settings, mappings, and properties as needed.
index_body = {"settings": {"index.knn": True,"number_of_shards": 1,"number_of_replicas": 0,"default_pipeline": pipeline_id  # ingest pipeline},"mappings": {"properties": {"image_url": {"type": "text"},"caption_embedding": {"type": "knn_vector","dimension": knn_dimension,"method": {"engine": "faiss","space_type": "l2","name": "hnsw","parameters": {}}},"caption": {"type": "text"}}}
}
# create index
resp = cloud_search_cli.indices.create(index=index_name, body=index_body)
print(resp)

加载数据集

读取数据集到内存中，并过滤出部分需要使用的数据。

# Prepare dataset
import pandas as pd
import string
appended_data = []
for character in string.digits[0:] + string.ascii_lowercase:if character == '1':breaktry:meta = pd.read_json("s3://amazon-berkeley-objects/listings/metadata/listings_" + character + ".json.gz",lines=True)except FileNotFoundError:continueappended_data.append(meta)
appended_data_frame = pd.concat(appended_data)
appended_data_frame.shape
meta = appended_data_frame
def func_(x):us_texts = [item["value"] for item in x if item["language_tag"] == "en_US"]return us_texts[0] if us_texts else None
meta = meta.assign(item_name_in_en_us=meta.item_name.apply(func_))
meta = meta[~meta.item_name_in_en_us.isna()][["item_id", "item_name_in_en_us", "main_image_id"]]
print(f"#products with US English title: {len(meta)}")
meta.head()
image_meta = pd.read_csv("s3://amazon-berkeley-objects/images/metadata/images.csv.gz")
dataset = meta.merge(image_meta, left_on="main_image_id", right_on="image_id")
dataset.head()

上传数据集

上传数据集到 Opensearch，针对每条数据，传入 image_url 和 caption。无需传入 caption_embedding，将通过远程机器学习模型自动生成。

# Upload dataset
import json
from alive_progress import alive_bar
cnt = 0
batch = 0
action = json.dumps({"index": {"_index": index_name}})
body_ = ''with alive_bar(len(dataset), force_tty=True) as bar:for index, row in (dataset.iterrows()):if row['path'] == '87/874f86c4.jpg':continuepayload = {}payload['image_url'] = "https://amazon-berkeley-objects.s3.amazonaws.com/images/small/" + row['path']payload['caption'] = row['item_name_in_en_us']body_ = body_ + action + "\n" + json.dumps(payload) + "\n"cnt = cnt + 1if cnt == 100:resp = cloud_search_cli.bulk(request_timeout=1000,index=index_name,body=body_)cnt = 0batch = batch + 1body_ = ''bar()
print("Total Bulk batches completed: " + str(batch))

混合搜索查询

以查询 shoes 为例，查询中包含两个查询子句，一个是 match 查询，一个是 remote_neural 查询。查询时将事先创建好的 Search Pipeline 指定为查询参数，Search Pipeline 会将传入的文本转为向量，存储到 caption_embedding 字段，用于后续查询。

# Search with search pipeline
from urllib import request
from PIL import Image
import IPython.display as display
def search(text, size):resp = cloud_search_cli.search(index=index_name,body={"_source": ["image_url", "caption"],"query": {"hybrid": {"queries": [{"match": {"caption": {"query": text}}},{"remote_neural": {"caption_embedding": {"query_text": text,"k": size}}}]}}},params={"search_pipeline": search_pipeline_id},)return resp
k = 10
ret = search('shoes', k)
for item in ret['hits']['hits']:display.display(Image.open(request.urlopen(item['_source']['image_url'])))print(item['_source']['caption'])

混合搜索演示

以上就是以图像搜索应用为例，介绍如何借助火山引擎云搜索服务的解决方案快速开发一个混合搜索应用的实战过程，欢迎大家登陆火山引擎控制台操作！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/328935.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

第三十二天 | 46.全排列 47.全排列||

第三十二天 | 46.全排列 47.全排列||

终于进入排列！（之前都是组合） 排列和组合的区别：在数学上的区别都懂，主要是看在代码实现上有什么区别 题目：46.全排列 树型结构比较简单 用used标记某一元素是否使用过。在组合问题中，其实是…
阅读更多...
【Amplify_自己写的shadr遇到没有阴影的解决方案】

【Amplify_自己写的shadr遇到没有阴影的解决方案】

Amplify 自己写的shadr遇到没有阴影的解决方案 2020-01-21 16:04 本来我有个百试很灵的投射阴影脚本。 这次不灵光了！地形内建材质，这个不支持投射的阴影~~奇了怪了。 可以采用引用的方式UsePass加入阴影部分代码，具体操作如下&#xff1…
阅读更多...
.NET 4.8和.NET 8.0的区别和联系、以及查看本地计算机的.NET版本

.NET 4.8和.NET 8.0的区别和联系、以及查看本地计算机的.NET版本

文章目录 .NET 4.8和.NET 8.0的区别查看本地计算机的.NET版本 .NET 4.8和.NET 8.0的区别 .NET 8.0 和 .NET 4.8 之间的区别主要体现在它们的发展背景、目标平台、架构设计和功能特性上。下面是它们之间的一些主要区别： 发展背景： .NET 4.8 是.NET Fram…
阅读更多...
WSL2-Ubuntu(深度学习环境搭建)

WSL2-Ubuntu(深度学习环境搭建)

1.在Windows的WSL2上安装Ubuntu 流程可参考：https://www.bilibili.com/video/BV1mX4y177dJ 注意：中间可能需要使用命令wsl --update更新一下wsl。 2.WSL数据迁移 按照下面流程：开始菜单->设置->应用->安装的应用->搜索“ubun…
阅读更多...
LAMP与动静态网站介绍

LAMP与动静态网站介绍

黄金架构LAMP Httpd PHP MySQL 三这如何工作 为什么说LAMP是黄金架构呢？ 在互联网刚刚新起时，很多门户网站第一代架构都是采用LAMP，比如新浪，一些电商的互联网公司的站点，他们在网站第一代架构出行，用的都…
阅读更多...
JETBRAINS IDES 分享一个2099通用试用码！DataGrip 2024 版 ，支持一键升级

JETBRAINS IDES 分享一个2099通用试用码！DataGrip 2024 版 ，支持一键升级

文章目录 废话不多说上教程：（动画教程 图文教程）一、动画教程激活 与 升级（至最新版本） 二、图文教程 （推荐）Stage 1.下载安装 toolbox-app（全家桶管理工具）Stage 2 : 下…
阅读更多...
VUE 滚动到指定区域scrollIntoView

VUE 滚动到指定区域scrollIntoView

背景&#xff1a;当前 VUE 页面数据量很大&#xff0c;右侧出现滚动条, 进入该页面&#xff0c;页面定位到指定区域&#xff1b; 项目要求&#xff1a; 进入页面&#xff0c;定位到指定行&#xff08;红色标记&#xff09; 直接看效果&#xff1a; 代码demo&#xff1a; <…
阅读更多...
Unity设计模式之工厂模式

Unity设计模式之工厂模式

什么是工厂模式&#xff1f; 工厂是一种创建型设计模式。通俗来讲就是提供一种封装对象创建的方式&#xff0c;将对象的创建和使用区分开。就是Unity里面通常用到的创建和管理对象。 工厂模式有什么优点&#xff1f; 1、封装对象的创建方式&#xff0c;使其更加灵活、易于管理…
阅读更多...
中美在AI大模型的商业化和产业化的优势和面临的挑战有哪些？

中美在AI大模型的商业化和产业化的优势和面临的挑战有哪些？

中美在AI大模型的商业化和产业化的优势和面临的挑战有哪些&#xff1f; 中美在AI大模型的商业化和产业化方面各有优势&#xff0c;但也面临不少挑战。 一、优势 1、技术领先 美国在AI大模型领域拥有深厚的技术储备和布局&#xff0c;如OpenAI的GPT系列、谷歌的BERT等&#…
阅读更多...
【前段】开发五子棋小游戏全流程

【前段】开发五子棋小游戏全流程

使用前端技术开发五子棋小游戏 在这篇博文中，我们将详细介绍如何使用HTML、CSS和JavaScript开发一个简单的五子棋小游戏。我们将展示如何初始化棋盘、处理用户交互以及实现胜负判定。特别是，我们将着重介绍胜负判定的逻辑实现。 完整代码我放在了这里：github 项目结构 项…
阅读更多...
EE trade：现货黄金交易有哪些优势

EE trade：现货黄金交易有哪些优势

现货黄金交易具有多种优势&#xff0c;使其成为许多投资者青睐的投资选择&#xff1a; 流动性高&#xff1a;黄金市场是全球最大的金融交易市场之一&#xff0c;确保了黄金拥有极高的流动性。这意味着投资者可以随时买入或卖出黄金&#xff0c;几乎不必担心大额交易会对市场价…
阅读更多...
锁策略详解：互斥锁、读写锁、乐观锁与悲观锁、轻量级锁与重量级锁、自旋锁、偏向锁、可重入锁与不可重入锁、公平锁与非公平锁

锁策略详解：互斥锁、读写锁、乐观锁与悲观锁、轻量级锁与重量级锁、自旋锁、偏向锁、可重入锁与不可重入锁、公平锁与非公平锁

目录 一.锁策略 二.互斥锁 三.读写锁 四.乐观锁与悲观锁 五.重量级锁与轻量级锁 六.自旋锁 七.偏向锁 八.公平锁与非公平锁 九.可重入锁与不可重入锁 一.锁策略 锁策略指的是在多线程编程中用于管理共享资源访问的规则和技术。它们确保在任何给定时间只有一个线程可以…
阅读更多...
自然资源-国土空间体系下详细规划转型建设-学习安徽模式

自然资源-国土空间体系下详细规划转型建设-学习安徽模式

自然资源-国土空间体系下详细规划转型建设-学习安徽模式 为了全面贯彻落实党的二十大精神&#xff0c;深化“多规合一”改革成果&#xff0c;提高城市规划、建设、治理水平&#xff0c;促进城乡高质量发展&#xff0c;2023年3月&#xff0c;自然资源部印发《关于加强国土空间详…
阅读更多...
IntelliJ IDEA 配置JDK

IntelliJ IDEA 配置JDK

IntelliJ IDEA-之配置JDK 我们的开发神器IDEA安装好了之后&#xff0c;在实际开发中&#xff0c;我们如何去配置好JDK的版本呢&#xff1f; 注意&#xff1a;需要保证JDK在已经成功安装的情况下&#xff0c;再进行IDEA的配置 现在就行动&#xff0c;让IntelliJ IDEA成为你征…
阅读更多...
【工具】macOS、window11访问limux共享目录\共享磁盘，samba服务安装使用

【工具】macOS、window11访问limux共享目录\共享磁盘，samba服务安装使用

一、samba服务安装 Samba是一个免费的开源软件实现&#xff0c;使得非Windows操作系统能够与Windows系统进行文件和打印服务共享。它实现了SMB/CIFS协议&#xff0c;并且能够在Linux、Unix、BSD等多种系统上运行。 安装 samba&#xff1a; sudo yum install samba配置 samba…
阅读更多...
后端之路第一站——Maven

后端之路第一站——Maven

前提&#xff1a;得会基础java 前言&#xff1a;不知道出于什么原因&#xff0c;可能是喜欢犯贱吧&#xff0c;本人从大一到大二都一直在专研前端开发&#xff0c;一点也没接触过后端&#xff0c;但是突然抽风想学后端了&#xff0c;想试着自己全栈搞一下项目&#xff0c;于是在…
阅读更多...
机器人工具箱学习（三）

机器人工具箱学习（三）

一、动力学方程 机器人的动力学公式描述如下&#xff1a; 式中&#xff0c; τ \boldsymbol{\tau} τ表示关节驱动力矩矢量&#xff1b; q , q ˙ , q \boldsymbol{q} ,\; \dot{\boldsymbol { q }} ,\; \ddot{\boldsymbol { q }} q,q˙​,q​分别为广义的关节位置、速度和加速…
阅读更多...
【Python】图形用户界面设计

【Python】图形用户界面设计

1、设计并编写一个窗口程序,该窗口只有一个按钮,当用户单击时可在后台输出hello world. import tkinter as tk def on_button_click():print("hello world") # 创建主窗口 root tk.Tk() root.title("Hello World Button") # 设置窗口大小 root.geometry…
阅读更多...
Android手动下载Gradle的使用方法

Android手动下载Gradle的使用方法

导入新项目通常会自动下载gradle版本&#xff0c;这种方式很慢而且经常下载失败&#xff0c;按照提示手动下载的gradle应该放在那里&#xff0c;如何使用&#xff0c;本篇文章为你提供一种亲测有效的方法&#xff1a; 在Android Studio打开Setting搜索Gradle找到Gradle的存放目…
阅读更多...
每日一练 2024.5.16（补 2024.5.14）

每日一练 2024.5.16（补 2024.5.14）

题目&#xff1b; 我们定义 arr 是 山形数组 当且仅当它满足&#xff1a; arr.length > 3存在某个下标 i &#xff08;从 0 开始&#xff09; 满足 0 < i < arr.length - 1 且&#xff1a; arr[0] < arr[1] < ... < arr[i - 1] < arr[i]arr[i] > arr…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023