客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台

阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能够适应日益增长的数据规模。

一、客户介绍

识货,成立于2012年6月,致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购用户带来及时的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。识货提供了全球范围内的时尚品牌、潮流单品信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。

二、业务挑战

随着业务规模的持续扩展,识货的业务面临着如下痛点:

1.商品类目快速增长,面临性能与效果的挑战

在通过识货App查看全网低价渠道的场景中,需要将识货平台中的商品与全网多个销售平台进行精准关联,这样用户在购买时就可以直观对比不同渠道的商品价格。对于像iPhone这类热门商品的数据,识货采用了人工精细关联的策略,来确保信息的准确。但面对数量庞大的中长尾商品,识货初期的方案是依赖“全文检索匹配辅以人工审核”的方式。但是随着商品种类的快速增长,这种初期方案在召回率和准确率上都难以满足需求。因此,识货技术团队果断转向采用“向量检索结合全文检索以及人工审核”的策略,在线上业务中增加准确性更高的向量召回链路。

2.保障集群稳定性,平衡成本与可用性

在业务起步阶段,识货选择自建Milvus集群的策略,但是在常规数据写入的压力测试中,集群部分节点的CPU使用率常在50%~100%的范围内大浮动波动,这导致集群整体的稳定性受到影响。随着业务规模的不断扩大,如何更好地保障集群稳定性,保证线上业务的平稳运行是识货面临的第二大挑战。在这个背景下,识货技术团队开始考虑稳定性更高的向量服务。

3.轻量化管理和运维,降低管理和运维的复杂度

随着自建集群规模的增长,管理和运维的成本也在逐步上升。例如对集群各个节点监控、一键告警、计算资源的平滑升配、内核版本无缝升级等能力也需要投入大量人力进行管理和维护,如何做到高效且低复杂的管理和运维集群是识货面临的第三大难点。因此,识货技术团队开始考虑全托管、免运维的云原生向量服务。

三、阿里云的解决方案

基于向量检索服务Milvus版提供精准的数据检索服务

阿里云向量检索服务Milvus版是100%兼容开源版的全托管产品,兼备了开源Milvus全部优势的同时,配套了完善的运维基建,可以一键拉起集群快速启用数据检索服务。服务上线后,经过测试对比发现,采用向量检索服务Milvus版为识货带来了显著的三大优势:

1.显著提升稳定性

相较于自建集群,阿里云Milvus通过优化数据读写策略,实现了数据分布的均衡化,从而提升了查询性能。在实际测试中,识货观察到整体QPS提升了约10%。写入性能在承受同等压力/写入速率保持在2K TPS的情况下,阿里云Milvus集群的CPU利用率稳定维持在50%左右,未出现明显的CPU波动现象,展现出卓越的稳定性。

2.增强可用性与灵活性

阿里云Milvus提供了超过100项监控指标,包括CPU和内存使用率在内的多项关键指标,支持自定义报警规则的设定,满足多样化的业务需求。这一全面的监控体系助力识货实现了对集群状态的精准把控。此外,阿里云Milvus还提供灵活的资源调整方案,使得识货能够根据业务需求的变化,平滑地进行资源的扩容或缩容,确保服务的持续可用性。

3.大幅降低管理成本

对比自建Milvus集群的模式,虽然使用阿里云向量检索Milvus版的单集群成本会增加大约30%,但这部分额外费用却能显著减轻识货在运维人力和资源上的负担。据识货技术团队的估算,若自建集群,需投入超过1/3的人力资源来构建和维护相应的运维体系及基础设施。相比之下,选择阿里云的托管服务模式,不仅能够避免这些高昂的隐性成本,还能确保服务的高效率和稳定性。识货业务流程架构图如下:

使用阿里云PAI-SAE及相关大模型进行训练与推理

识货当前在其Embedding模型的训练与推理流程中,除了依赖自建系统,在部分环节中还使用了阿里云PAI-EAS。PAI-EAS即模型在线服务(Elastic Algorithm Service),是阿里云PAI产品为实现一站式模型开发部署应用,针对在线推理场景提供的模型在线服务,支持将模型服务部署在公共资源组或专属资源组,实现基于异构硬件(CPU和GPU)的模型加载和数据请求的实时响应。PAI-EAS在搜索推荐场景下,体现出了高并发和低延迟的技术优势。

四、业务价值

阿里云的向量检索服务Milvus版以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能适应日益增长的数据规模,这对于处理大规模向量数据的相似性检索服务至关重要。识货团队对于Milvus的未来发展充满期待,希望能够通过不断的升级和优化,以适应更加复杂多变的业务场景需求。识货团队在将来也会继续选择和阿里云Milvus以及阿里云更多AI产品及团队更紧密合作,进一步提升识货团队产品的用户体验,并为其用户提供更加精准的搜索服务,同时也将有助于在电商领域探索和开辟新的市场机会。

五、产品动态

为了更好地服务广大用户,提供更加专业、灵活、高效的向量搜索引擎服务,阿里云Milvus服务已于2024年7月19日,由「EMR Serverless Milvus公测版」全新升级为「向量检索服务Milvus版」,并继续维持公测。全新升级后的“向量检索服务Milvus版”将提供独立产品控制台、售卖入口、帮助文档,不仅集成了Zilliz高性能商业化内核,显著提升了检索性能,还推出了多项企业级独享功能,以满足更复杂的业务需求和企业级服务质量。欢迎大家前来试用体验!

向量检索 Milvus 版用户交流钉钉群:59530004993

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/382640.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Selenium之execute_script()方法执行js脚本

目录 场景应用和使用 页面滚动 获取返回值 返回JavaScript定位的元素对象 修改元素属性 弹出提示框 场景应用和使用 在自动化测试中,部分场景无法使用自动化Selenium原生方法来进行测试: 滚动到某个元素(位置) 修改…

水利行业的智慧转型之路:分析智慧水利的核心要素与优势,展望其在提升水资源利用效率、保障水安全方面的广阔前景

目录 引言 一、智慧水利的核心要素 1. 物联网技术 2. 大数据与云计算 3. 人工智能与机器学习 4. 移动互联网与GIS技术 5. 标准化与信息安全 二、智慧水利的优势 1. 提高水资源利用效率 2. 增强水灾害防御能力 3. 提升水环境治理水平 4. 促进水利服务智能化 三、展望…

响应式商标知识产权企业网站源码系统 带模版以及搭建部署教程

系统概述 响应式商标知识产权企业网站源码系统是一款专门为商标知识产权企业打造的综合性网站平台。它融合了先进的技术和设计理念,旨在为企业提供一个全面展示自身形象、业务能力和专业服务的数字化窗口。 该系统采用了现代化的架构和开发方式,具备高度…

Mem0 - 个人 AI 的内存层

文章目录 一、关于 Mem0核心功能🔑路线图 🗺️常见用例Mem0与RAG有何不同? 二、快速入门 🚀1、安装2、基本用法(开源)3、高级用法🔧4、大模型支持 三、MultiOn1、概览2、设置和配置4、将记忆添加…

电脑基础知识 | 电脑的基本组成

电脑作为我们日常工作和娱乐的重要工具,扮演着举足轻重的角色。当我们谈论电脑的基本组成时,其实是在探讨电脑硬件和软件两个核心部分。硬件是电脑看得见、摸得着的物理设备,而软件则是运行在这些硬件之上的程序和指令。两者相辅相成&#xf…

数据结构(二叉树-1)

文章目录 一、树 1.1 树的概念与结构 1.2 树的相关术语 1.3 树的表示 二、二叉树 2.1 二叉树的概念与结构 2.2特殊的二叉树 满二叉树 完全二叉树 2.3 二叉树的存储结构 三、实现顺序结构二叉树 3.1 堆的概念与结构 3.2 堆的实现 Heap.h Heap.c 默认初始化堆 堆的销毁 堆的插入 …

【web】-flask-简单的计算题(不简单)

打开页面是这样的 初步思路,打开F12,查看头,都发现了这个表达式的base64加密字符串。编写脚本提交答案,发现不对; 无奈点开source发现源代码,是flask,初始化表达式,获取提交的表达式&#xff0…

解锁创新:AI如何推动低代码应用的智能化

在当今快速变化的商业环境中,企业面临着前所未有的挑战和机遇。数字化转型已成为各行各业的必然趋势,企业需要迅速适应市场变化,提升客户体验,并降低开发成本。 这一背景下,低代码开发平台的崛起为企业提供了一种高效…

【RaspberryPi】树莓派系统UI优化

接上文,如何去定制一个树莓派的桌面系统,还是以CM4为例。 解除CM4上电USB无法使用问题 将烧录好的tf卡通过读卡器插入到电脑上,进入boot磁盘,里面有一个Config文件,双击用记事本打开,在【pi4】一栏里加入一…

C/C++标准IO的缓冲区

文章目录 缓冲区的分类缓冲区的刷新时机 缓冲区的分类 行缓存:和终端文件相关的缓冲区叫做行缓存,行缓冲区的大小为1024字节,对应的文件指 针:stdin、stdout全缓存:和外界文件相关的缓冲区叫做全缓存,全缓…

大屏数据看板一般是用什么技术实现的?

我们看到过很多企业都会使用数据看板,那么大屏看板的真正意义是什么呢?难道只是为了好看?答案当然不仅仅是。 大屏看板不仅可以提升公司形象,还可以提升企业的管理层次。对于客户,体现公司实力和品牌形象,…

HarmonyOS 本地真机运行

目录 官网地址 1.开发工具设置签名 2.手机开启开发者模式 3.使用USB连接方式 4.使用无线调试连接方式 5.常见的问题 官网地址 使用真机运行应用 使用本地真机运行应用/服务 1.开发工具设置签名 官网应用/服务签名 1.左上角文件--项目结构-勾选自动生成签名-Sign in登录 2…

单片机学习(18)--红外遥控器

红外遥控器 17.1红外遥控的基础知识1.红外遥控简介2.硬件电路3.基本发送和接收4.NEC编码5.遥控器键码6.51单片机的外部中断7.外部中断寄存器 17.2红外遥控的程序代码1.红外遥控(1)工程目录(2)main.c函数(3)…

pyenv-win | python版本管理,无需卸载当前版本

系统:windows,且已安装git。 使用 pyenv-win 在Windows中管理多个python版本,而无需卸载当前版本。安装步骤如下: 安装 pyenv-win 1. 安装 Git 和 pyenv-win: git clone https://github.com/pyenv-win/pyenv-win.git %USERPRO…

fastadmin 搜索调整的配置

//快捷搜索,这里可在控制器定义快捷搜索的字段search: false,//启用普通表单搜索commonSearch: true,//显示导出按钮showExport: false,//启用跨页选择maintainSelected: false,//启用固定列fixedColumns: false,//固定左侧列数fixedNumber: 3,//固定右侧列数fixedRightNumber:…

vue 两个页面切换, 再回到当前页,还是离开前的数据

1、要保证页面的name 和 建路由的大小写一致 2、页面不用生命周期--activated 调接口刷新

第G2周:人脸图像生成(DCGAN)

本文为365天深度学习训练营 中的学习记录博客 原作者:K同学啊 深度卷积对抗网络(Deep Convolutional Generative Adversarial Networks,简称DCGAN)是一种深度学习模型,由生成器(Generator)和判别…

四、GD32 MCU 常见外设介绍 (6) ADC 模块介绍

6.1.ADC 基础知识 12 位逐次逼近式模数转换器模块(ADC),可以采样来自于外部输入通道、内部输入通道的模拟信号,采样转换后,转换结果可以按照最低有效位对齐或最高有效位对齐的方式保存在相应的数据寄存器中。 6.2.GD…

【过题记录】 7.21

Mad MAD Sum 算法&#xff1a;思维&#xff0c;前缀最大值 模拟一下他的运行过程就会发现&#xff0c;两次之后整个数组就固定了&#xff0c;之后每次都是每个数往后移动一位&#xff0c;可以模拟两次之后计算每个数的存活轮数&#xff0c;计算贡献。 #include<bits/stdc.h…

PD协议芯片ECP5701兼容PD 2.0和PD 3.0(5V,9V,12V,15V,20V),支持 PD 输入多种类型无线充方案

文章目录 前言 一、TYPE-C口无线充与传统充电器的对比 1. TYPE-C口无线充的特点&#xff08;无需线材&#xff0c;更方便&#xff1b;接口定位性强&#xff0c;分明&#xff1b;兼容多个设备&#xff1b;充电速度更快&#xff1b;充电效率更高&#xff09; 2. 传统充电器的特点…