使用 HuggingFace 提供的 Elasticsearch 托管交叉编码器进行重新排名

作者：来自 Elastic Jeff Vestal

了解如何使用 Hugging Face 的模型在 Elasticsearch 中托管和执行语义重新排序。

在这篇简短的博文中，我将向你展示如何使用 Hugging Face 中的模型在搜索时在你自己的 Elasticsearch 集群中执行语义重新排序。我们将使用 Eland 下载模型，从 Hugging Face 加载数据集，并使用检索器执行示例查询，所有这些都在 Jupyter 笔记本中完成。

概述

如果你不熟悉语义文本，请查看以下资源：

它是什么
为什么要使用它
如何创建推理 API 并将其连接到外部服务
如何使用检索器查询进行重新排名

请查看以下链接：

什么是语义重新排名以及如何使用它？
- 了解在搜索和 RAG 管道中使用语义重新排名的权衡
使用检索器在 Elasticsearch 中进行语义重新排名
- 本博客包含视频演示和入门所需的所有内容的概述。
Elastic 文档 - 语义重新排名
- 这个优秀的文档指南讨论了用例、编码器模型类型和 Elasticsearch 中的重新排名

本博客和随附笔记本中的代码也将帮助你入门，但我们不会深入讨论是什么和为什么。

另外，请注意，我将在下面展示代码片段，但自己做这件事的最佳方法是按照随附的笔记本进行操作。

步骤零

我还假设你有一个 Elasticsearch 集群或 serverless 项目，你将在本指南中使用它们。如果没有，请前往 cloud.elastic.co 并注册免费试用！你需要一个 Cloud ID 和 Elasticsearch API 密钥。

模型选择

第一步（真正的）是选择用于重新排名的模型。深入讨论选择模型和评估结果超出了本博客的范围。请注意，目前 Elasticsearch 仅支持跨编码（cross-encoder）器模型。

虽然没有直接涵盖模型选择，但以下博客很好地概述了评估搜索相关性。

评估搜索相关性（三部分系列）
搜索相关性调整：平衡关键字和语义搜索

对于本指南，我们将使用 cross-encoder/ms-marco-MiniLM-L-6-v2。该模型使用 MS Marco 数据集进行检索和重新排名。

模型加载

要将 Hugging Face 中的 NLP 模型加载到 Elasticsearch，你需要使用 Eland Python 库。

Eland 是 Elastic 的 Python 库，用于数据帧分析以及将监督和 NLP 模型加载到 Elasticsearch。它提供了一个熟悉的 Pandas 兼容 API。你可以参考文章来安装 Eland。

以下代码来自笔记本部分 “Hugging Face Reranking Model.”。

model_id = "cross-encoder/ms-marco-MiniLM-L-6-v2"cloud_id = "my_super_cloud_id"
api_key = "my_super_secred_api_key!"!eland_import_hub_model \
--cloud-id $cloud_id \
--es-api-key $api_key \
--hub-model-id $model_id \
--task-type text_similarity

Eland 没有特定的 “rerank” 任务类型；我们使用 text_similarity 类型来加载模型。

此步骤将在运行代码的本地下载模型，将其拆分，然后加载到你的 Elasticsearch 集群中。

切到

在笔记本中，你可以按照步骤设置集群以在下一节中运行重新排名查询。下载笔记本中显示的模型后的设置步骤如下：

使用重新排名任务创建推理端点
- 这还将在 Elasticsearch 机器学习节点上部署我们的重新排名模型
创建索引映射
从 Hugging Face - CShorten/ML-ArXiv-Papers 下载数据集
将数据索引到 Elasticsearch

重新排序时间！

一切设置完毕后，我们可以使用 text_similarity_reranker 检索器进行查询。文本相似性重新排序器是一个两阶段重新排序器。这意味着首先运行指定的检索器，然后将这些结果传递到第二个重新排序阶段。

笔记本中的示例：

query = "sparse vector embedding"# Query with Semantic Reranker
response_reranked = es.search(index="arxiv-papers-lexical",body={"size": 10,"retriever": {"text_similarity_reranker": {"retriever": {"standard": {"query": {"match": {"title": query}}}},"field": "abstract","inference_id": "semantic-reranking","inference_text": query,"rank_window_size": 100}},"fields": ["title", "abstract"], "_source": False}
)

上述 text_similarity_reranker 的参数为：

retriever - 在这里，我们使用标准检索器进行词汇第一阶段检索的简单匹配查询。你也可以在此处使用 knn 检索器或 rrf 检索器。
field - 重新排名模型将用于相似性比较的第一阶段结果中的字段。
inference_id - 用于重新排名的推理服务的 ID。在这里，我们使用我们之前加载的模型。
inference_text - 用于相似性排名的字符串
rank_window_size - 模型将考虑的第一阶段的顶级文档数量。

你可能想知道为什么 `rank_window_size` 设置为 100，即使你最终可能只想要前 10 个结果。

在两阶段搜索设置中，初始词汇搜索为语义重新排序器提供了广泛的文档集以供评估。返回 100 个结果的较大集合增加了相关文档可供语义重新排序器识别并根据语义内容（而不仅仅是词汇匹配）重新排序的机会。这种方法弥补了词汇搜索在捕捉细微含义方面的局限性，使语义模型能够筛选出更广泛的可能性。

但是，找到正确的 `rank_window_size` 是一种平衡。虽然更大的候选集可以提高准确性，但也可能会增加资源需求，因此需要进行一些调整以在召回率和资源之间实现最佳权衡。

比较

虽然我不会在本简短指南中对结果进行深入分析，但可能引起普遍兴趣的是查看标准词汇匹配查询的前 5 个结果和上述重新排序查询的结果。

此数据集包含有关机器学习的 ArXiv 论文子集。列出的结果是论文的标题。

“评分结果” 是使用标准检索器的前 10 个结果

“重新排序结果” 是重新排序后的前 10 个结果

搜索 “sparse vector embedding” 的结果
	评分结果	重新排序结果
0	Compact Speaker Embedding: lrx-vector	Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction
1	Quantum Sparse Support Vector Machines	Spaceland Embedding of Sparse Stochastic Graphs
2	Sparse Support Vector Infinite Push	Elliptical Ordinal Embedding
3	The Sparse Vector Technique, Revisited	Minimum-Distortion Embedding
4	L-Vector: Neural Label Embedding for Domain Adaptation	Free Gap Information from the Differentially Private Sparse Vector and Noisy Max Mechanisms
5	Spaceland Embedding of Sparse Stochastic Graphs	Interpolated Discretized Embedding of Single Vectors and Vector Pairs for Classification, Metric Learning and Distance Approximation
6	Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation	Attention Word Embedding
7	Stable Sparse Subspace Embedding for Dimensionality Reduction	Binary Speaker Embedding
8	Auto-weighted Mutli-view Sparse Reconstructive Embedding	NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization
9	Embedding Words in Non-Vector Space with Unsupervised Graph Learning	Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs