Meilisearch 和 Ollama 实现文本向量搜索

Meilisearch 是一个开源、快速、简洁的全文搜索引擎,专为构建高性能、实时的搜索功能而设计。其主要特点如下:

  1. 极速搜索:Meilisearch 使用反向索引来加速搜索查询,因此能够在海量数据中提供毫秒级的响应时间,尤其适合实时搜索需求。

  2. 智能搜索:Meilisearch 支持模糊搜索、拼写纠错、同义词匹配、结果排序等功能,使得用户在搜索时无需提供完全准确的关键词。

  3. 即时更新:它支持对数据的实时更新,任何数据变动都会立即反映在搜索结果中,适合频繁变动的数据集。

  4. 轻量级:Meilisearch 采用 Rust 编写,内存占用较低,部署和使用都非常简单。通过一个简单的 RESTful API 即可操作,无需复杂的配置和维护。

  5. 多语言支持:Meilisearch 支持多种语言的文本处理和分析,包括词形还原、停用词处理等。对于不同语言,它可以自适应提供准确的搜索结果。

  6. 搜索体验优化:它不仅支持传统的精确匹配,还能根据用户的搜索意图返回最相关的结果,提升用户体验。

  7. 开源和可扩展性:由于是开源项目,开发者可以根据需要对其进行自定义扩展,并且有一个活跃的社区持续维护和改进。

Meilisearch 非常适合用于电商、博客、文档管理等需要提供快速搜索体验的应用场景。

1. Meilisearch 设置

1.1 部署 Meilisearch

首先,我们使用 Docker Compose 来启动 Meilisearch。创建一个 docker-compose.yml 文件,内容如下:

version: '3'  
services:  meilisearch:  container_name: meilisearch  image: getmeili/meilisearch:v1.8  environment:  - http_proxy  - https_proxy  - MEILI_MASTER_KEY=${MEILI_MASTER_KEY:-masterKey}  - MEILI_NO_ANALYTICS=${MEILI_NO_ANALYTICS:-true}  - MEILI_ENV=${MEILI_ENV:-development}  - MEILI_LOG_LEVEL  - MEILI_DB_PATH=${MEILI_DB_PATH:-/meili_data/data.ms}  ports:  - ${MEILI_PORT:-7700}:7700  networks:  - meilisearch  volumes:  - ./meili_data:/meili_data  restart: unless-stopped  
networks:  meilisearch:  driver: bridge  

1.2 配置环境变量

创建一个 .env 文件,用来存储 Meilisearch 的一些配置:

MEILI_MASTER_KEY=vhcdWXs31gt3cB76  
MEILI_NO_ANALYTICS=true  
MEILI_ENV=development  
MEILI_LOG_LEVEL=info  
MEILI_DB_PATH=./data.ms  
MEILI_PORT=7700  
参数说明
MEILI_MASTER_KEY
Meilisearch 的主密钥,用于身份验证。
MEILI_NO_ANALYTICS
禁用分析功能。
MEILI_ENV
Meilisearch 环境设置,development 表示开发环境。
MEILI_LOG_LEVEL
设置日志级别为 info,用于输出一般信息。
MEILI_DB_PATH
数据库路径,指定 Meilisearch 存储数据的位置。
MEILI_PORT
Meilisearch 运行时的端口号。

1.3 启动 Meilisearch

有了 docker-compose.yml.env 文件后,只需要运行以下命令即可启动 Meilisearch:

docker-compose up -d  

2. Ollama 设置

Ollama 是一个支持本地部署的大语言模型平台,可以帮助开发者通过 API 访问 AI 模型,并进行高效的自然语言处理任务。它通常用于构建自定义的 AI 应用和高级搜索功能,比如与 Meilisearch 集成进行向量搜索。Ollama 支持多种语言模型,并提供灵活的配置选项,允许开发者在本地或私有云环境中运行这些模型,避免了将数据发送到外部服务器的风险。

与 Meilisearch 集成时,Ollama 可以通过处理用户的查询,将其转换为向量,并与 Meilisearch 中的文档向量进行对比,从而实现高效的语义搜索。你可以通过 Ollama 的 API 定制各种自然语言任务,比如文本生成、摘要、分类等。

2.1 安装 Ollama

按照 Ollama 官方文档 的指示安装 Ollama。安装完成后,我们需要配置服务。

2.2 配置 Ollama 服务

创建一个新的 systemd 服务文件,路径为 /etc/systemd/system/ollama.service

[Unit]  
Description=Ollama Service  
After=network.target  [Service]  
ExecStart=/usr/local/bin/ollama serve  
Restart=always  
User=root  [Install]  
WantedBy=multi-user.target  

2.3 允许外部访问

如果你需要从外部网络访问 Ollama,需要修改服务配置,允许绑定到所有网络接口。创建 /etc/systemd/system/ollama.service.d/override.conf 文件,内容如下:

[Service]  
Environment="OLLAMA_HOST=0.0.0.0"  

接着,运行以下命令来重新加载服务并启动 Ollama:

systemctl daemon-reload  
systemctl restart ollama  

3. 配置 Meilisearch 向量搜索

3.1 激活向量搜索功能

首先,确保你激活了 Meilisearch 的向量搜索功能。你可以通过以下命令来打开这个功能:

curl -X PATCH 'https://meili.x.net/experimental-features/' \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer vhcdWXsxi11Np1gt3cB76' \  --data-binary '{  "vectorStore": true  }'  

3.2 配置 Meilisearch 使用 Ollama

接下来,我们将 Meilisearch 和 Ollama 结合使用。通过以下命令将 Ollama 作为 Meilisearch 的嵌入模型:

curl -X PATCH 'https://meili.x.net/indexes/posts/settings' \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer vhcdWXs3idet3cB76' \  --data-binary '{  "embedders": {  "default": {  "source": "ollama",  "url": "http://149.x:11434/api/embeddings",  "model": "nomic-embed-text",  "documentTemplate": "The document titled {{doc.title}} contains: {{doc.summary|truncatewords: 20}}"  }  }  }'  

Nomic-embed-text是一个新发布的开源文本嵌入模型,具有8192的上下文长度,能够有效处理短文本和长文本任务。该模型在性能上超越了OpenAI的text-embedding-ada-002和text-embedding-3-small,且参数量为137M,属于较小的模型。它的训练数据集包含2.35亿个文本对,支持研究人员复现和审计模型。

4. 执行向量搜索

现在你已经完成了配置,可以开始执行向量搜索查询了。下面是一个简单的查询例子:

curl -X POST -H 'content-type: application/json' \  -H 'Authorization: Bearer vhcdWXs3eycNmxi11Np1gt3cB76' \  'https://meili.x.net/indexes/posts/search' \  --data-binary '{  "q": "Cloudflare tunnel Mac 本地设置隧道指南",  "hybrid": {  "semanticRatio": 0.1,  "embedder": "default"  }  }'  
参数说明
source
指定嵌入器的来源,使用 Ollama 平台。
url
Ollama 提供的 API URL,用于生成嵌入向量。
model
使用的嵌入模型,nomic-embed-text 用于将文本转换为向量。
documentTemplate
文档模板,定义嵌入器如何从文档提取信息进行处理。{{doc.title}} 代表文档的标题,`{{doc.summarytruncatewords: 20}}` 代表文档摘要并截取前 20 个词。

5. 监控和维护

为了确保系统运行平稳,你可以查看 Ollama 的运行日志:

journalctl -u ollama.service -f  

还可以通过以下命令检查 Meilisearch 的设置是否正确:

curl -X GET 'https://meili.x.net/indexes/posts/settings' \  -H 'Authorization: Bearer vhcdWXs31Np1gt3cB76' \  -H 'Content-Type: application/json'  

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/442932.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot 整合 rabbitMQ(1)

目录 一、MQ概述 二、MQ的优势和劣势 三、常见的MQ产品 RabbitMQ使用步骤 第一步:确保rabbitmq启动并且可以访问15672 第二步:导入依赖 第三步:配置 auto自动确认 manual手工确认(推荐使用!可以防止消息丢失&a…

Chromium 中js navigator对象c++实现分析

一、Navigator 对象 Navigator 对象包含有关浏览器的信息。 前端测试例子&#xff1a; <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>接口测试</title> </head> <body><div id"example&q…

布局性能优化

布局使用不当回导致卡顿、掉帧、响应慢等问题 一、布局流程 1、应用侧会根据前端UI描述创建后端的页面节点树&#xff0c;其中包含了处理UI组件属性更新、布局测算、事件处理等逻辑 2、页面节点树创建完成后&#xff0c;UI线程会对每个元素进行测算&#xff08;Measure&#…

STM32中断——外部中断

目录 一、概述 二、外部中断&#xff08;Extern Interrupt简称EXTI&#xff09; 三、实例-对射式红外传感器 1、配置中断&#xff1a; 2 、完整代码 一、概述 中断&#xff1a;在主程序运行过程中&#xff0c;出现了特定的中断触发条件(中断源)&#xff0c;使得CPU暂停当…

linux下创建软链接失败

最近在研究isce to stamps,在走流程的过程中,看了b站上Dr.Liu的视频和David Bakert的manual,按照manual进行了参数的设置,接着执行了make_single_reference_stack_isce命令,但是一直报错,发现这个报错还是国庆出去旅游的时候,想着在酒店把这个问题解决掉,但是每天早出晚…

20241005给荣品RD-RK3588-AHD开发板刷Rockchip原厂的Android12时使用iperf3测网速

20241005给荣品RD-RK3588-AHD开发板刷Rockchip原厂的Android12时使用iperf3测网速 2024/10/5 14:06 对于荣品RD-RK3588-AHD开发板&#xff0c;eth1位置上的PCIE转RJ458的以太网卡是默认好用的&#xff01; PCIE TO RJ45&#xff1a;RTL8111HS 被识别成为eth0了。inet addr:192.…

QT学习笔记1(QT和QT creator介绍)

QT学习笔记1&#xff08;QT和QT creator介绍&#xff09; Qt 是一个跨平台的应用开发框架&#xff0c;主要用于图形用户界面&#xff08;GUI&#xff09;应用的开发&#xff0c;但也支持非GUI程序的开发。Qt 支持多种平台&#xff0c;如Windows、macOS、Linux、iOS和Android&a…

【源码+文档+调试讲解】宜家宜业物业管理系统node.js框架

摘 要 近年来&#xff0c;科技飞速发展&#xff0c;在经济全球化的背景之下&#xff0c;互联网技术将进一步提高社会综合发展的效率和速度&#xff0c;互联网技术也会涉及到各个领域&#xff0c;而宜家宜业物业管理系统在网络背景下有着无法忽视的作用。信息管理系统的开发是…

浙江所有省级医院体检报告查询上线浙里办!

在医院完成体检后不知道什么时候出报告 体检报告出来后又要跑一次医院去拿报告 历年体检报告没保管好 往年体检报告找不到了 ………… ​编辑 为解决这些问题&#xff0c;浙江省卫生健康委结合“两卡融合、一网通办”工作的推进&#xff0c;不断丰富电子健康医保卡的功能&#…

JVS·智能BI数据可视化图表:普通列表与分组列表配置全解析

使用场景 在可视化配置中&#xff0c;很多场景中需要图形和详细信息的融合展示&#xff0c;那么在图表中可以新增普通列表与分组列表的配置。如下图所示&#xff1a; 配置说明 1、新增组件&#xff1a;配置入口如下图所示&#xff0c;新增组件时&#xff0c;选择普通列表与分…

用策略性文本序列影响大模型的输出

大型语言模型&#xff08;LLMs&#xff09;正越来越多地被集成到搜索引擎中&#xff0c;以提供针对用户查询的自然语言响应。用户也越来越依赖这些模型来做出快速而简便的购买决策。在本研究中&#xff0c;我们探讨了LLMs的推荐是否可以被操控以提升产品的可见性。 我们证明&a…

经纬恒润荣登2024北京民营企业科技创新百强榜单

9月底&#xff0c;北京市工商业联合会联合有关部门正式发布了2024年北京民营企业“14”百强榜单&#xff0c;经纬恒润凭借其在科技创新领域的卓越表现&#xff0c;再次荣获“北京民营企业科技创新百强”称号&#xff0c;彰显了公司在技术创新和研发实力方面的强劲竞争力。 此次…

《深度学习》循环神经网络RNN 结构及原理解析

目录 一、关于RNN 1、传统神经网络存在的问题 2、什么是循环神经网络 3、RNN特点 二、RNN基本结构 1、RNN基本结构 2、推导方式 注意&#xff1a; 3、循环的由来 4、RNN的局限性 一、关于RNN 1、传统神经网络存在的问题 无法训练出具有顺序的数据&#xff0c;模型搭…

手机使用技巧:8 个 Android 锁屏移除工具 [解锁 Android]

有时候&#xff0c;您会被锁定在自己的 Android 设备之外&#xff0c;而且似乎不可能重新进入。 一个例子就是你买了一部二手手机&#xff0c;后来发现无法使用。另一种情况是你忘记了屏幕锁定密码和用于验证密码的 Google 帐户凭据。这种情况很少见&#xff0c;但确实会发生&…

A股牛市来袭,资本涌动:加密市场的出路与机遇

近期&#xff0c;随着A股的强劲反弹&#xff0c;不少加密市场的投资者&#xff0c;尤其是一些KOL&#xff08;关键意见领袖&#xff09;&#xff0c;开始转移资金并公开建议进军A股。这种趋势反映出部分投资者对加密市场的信心动摇&#xff0c;尤其是在全球宏观经济不确定性加剧…

Qt应用程序logo那些事儿

前言 软件的logo一般跟公司的版权、商标、创意、设计密切相关&#xff0c;一般软件在开发之初都会特意设计好&#xff0c;以提高应用软件的辨识度 1 安装包logo EXE压缩包的logo&#xff0c;可以在Inno Setup Compiler的脚本里边设定&#xff0c;这个可以参考文章 2 可执行…

PyTorch单机多卡训练(无废话)

目前大家基本都在使用DistributedDataParallel&#xff08;简称DDP&#xff09;用来训练&#xff0c;该方法主要用于分布式训练&#xff0c;但也可以用在单机多卡。 第一步&#xff1a;初始化分布式环境&#xff0c;主要用来帮助进程间通信 torch.distributed.init_process_g…

深圳市步步精科技有限公司荣获发明专利,彰显技术研发实力

2024年8月13日&#xff0c;深圳市步步精科技有限公司&#xff08;BBJconn&#xff09;正式获得了其新开发的防水连接器专利&#xff0c;授权公告号为CN 118352837 B。这项技术的突破标志着公司在连接器领域的持续创新&#xff0c;进一步巩固了其行业领先地位。 专利技术概述 此…

成都睿明智科技有限公司真实可靠吗?

在这个日新月异的电商时代&#xff0c;抖音作为短视频与直播电商的佼佼者&#xff0c;正以前所未有的速度重塑着消费者的购物习惯。而在这片充满机遇与挑战的蓝海中&#xff0c;成都睿明智科技有限公司以其独到的眼光和专业的服务&#xff0c;成为了众多商家信赖的合作伙伴。今…

力扣 中等 46.全排列

文章目录 题目介绍题解 题目介绍 题解 代码如下&#xff1a; class Solution {List<List<Integer>> res new ArrayList<>();// 存放符合条件结果的集合List<Integer> path new ArrayList<>();// 用来存放符合条件结果boolean[] used; // 标记…