阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能够适应日益增长的数据规模。
一、客户介绍
识货,成立于2012年6月,致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购用户带来及时的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。识货提供了全球范围内的时尚品牌、潮流单品信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。
二、业务挑战
随着业务规模的持续扩展,识货的业务面临着如下痛点:
1.商品类目快速增长,面临性能与效果的挑战
在通过识货App查看全网低价渠道的场景中,需要将识货平台中的商品与全网多个销售平台进行精准关联,这样用户在购买时就可以直观对比不同渠道的商品价格。对于像iPhone这类热门商品的数据,识货采用了人工精细关联的策略,来确保信息的准确。但面对数量庞大的中长尾商品,识货初期的方案是依赖“全文检索匹配辅以人工审核”的方式。但是随着商品种类的快速增长,这种初期方案在召回率和准确率上都难以满足需求。因此,识货技术团队果断转向采用“向量检索结合全文检索以及人工审核”的策略,在线上业务中增加准确性更高的向量召回链路。
2.保障集群稳定性,平衡成本与可用性
在业务起步阶段,识货选择自建Milvus集群的策略,但是在常规数据写入的压力测试中,集群部分节点的CPU使用率常在50%~100%的范围内大浮动波动,这导致集群整体的稳定性受到影响。随着业务规模的不断扩大,如何更好地保障集群稳定性,保证线上业务的平稳运行是识货面临的第二大挑战。在这个背景下,识货技术团队开始考虑稳定性更高的向量服务。
3.轻量化管理和运维,降低管理和运维的复杂度
随着自建集群规模的增长,管理和运维的成本也在逐步上升。例如对集群各个节点监控、一键告警、计算资源的平滑升配、内核版本无缝升级等能力也需要投入大量人力进行管理和维护,如何做到高效且低复杂的管理和运维集群是识货面临的第三大难点。因此,识货技术团队开始考虑全托管、免运维的云原生向量服务。
三、阿里云的解决方案
基于向量检索服务Milvus版提供精准的数据检索服务
阿里云向量检索服务Milvus版是100%兼容开源版的全托管产品,兼备了开源Milvus全部优势的同时,配套了完善的运维基建,可以一键拉起集群快速启用数据检索服务。服务上线后,经过测试对比发现,采用向量检索服务Milvus版为识货带来了显著的三大优势:
1.显著提升稳定性
相较于自建集群,阿里云Milvus通过优化数据读写策略,实现了数据分布的均衡化,从而提升了查询性能。在实际测试中,识货观察到整体QPS提升了约10%。写入性能在承受同等压力/写入速率保持在2K TPS的情况下,阿里云Milvus集群的CPU利用率稳定维持在50%左右,未出现明显的CPU波动现象,展现出卓越的稳定性。
2.增强可用性与灵活性
阿里云Milvus提供了超过100项监控指标,包括CPU和内存使用率在内的多项关键指标,支持自定义报警规则的设定,满足多样化的业务需求。这一全面的监控体系助力识货实现了对集群状态的精准把控。此外,阿里云Milvus还提供灵活的资源调整方案,使得识货能够根据业务需求的变化,平滑地进行资源的扩容或缩容,确保服务的持续可用性。
3.大幅降低管理成本
对比自建Milvus集群的模式,虽然使用阿里云向量检索Milvus版的单集群成本会增加大约30%,但这部分额外费用却能显著减轻识货在运维人力和资源上的负担。据识货技术团队的估算,若自建集群,需投入超过1/3的人力资源来构建和维护相应的运维体系及基础设施。相比之下,选择阿里云的托管服务模式,不仅能够避免这些高昂的隐性成本,还能确保服务的高效率和稳定性。识货业务流程架构图如下:
使用阿里云PAI-SAE及相关大模型进行训练与推理
识货当前在其Embedding模型的训练与推理流程中,除了依赖自建系统,在部分环节中还使用了阿里云PAI-EAS。PAI-EAS即模型在线服务(Elastic Algorithm Service),是阿里云PAI产品为实现一站式模型开发部署应用,针对在线推理场景提供的模型在线服务,支持将模型服务部署在公共资源组或专属资源组,实现基于异构硬件(CPU和GPU)的模型加载和数据请求的实时响应。PAI-EAS在搜索推荐场景下,体现出了高并发和低延迟的技术优势。
四、业务价值
阿里云的向量检索服务Milvus版以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能适应日益增长的数据规模,这对于处理大规模向量数据的相似性检索服务至关重要。识货团队对于Milvus的未来发展充满期待,希望能够通过不断的升级和优化,以适应更加复杂多变的业务场景需求。识货团队在将来也会继续选择和阿里云Milvus以及阿里云更多AI产品及团队更紧密合作,进一步提升识货团队产品的用户体验,并为其用户提供更加精准的搜索服务,同时也将有助于在电商领域探索和开辟新的市场机会。
五、产品动态
为了更好地服务广大用户,提供更加专业、灵活、高效的向量搜索引擎服务,阿里云Milvus服务已于2024年7月19日,由「EMR Serverless Milvus公测版」全新升级为「向量检索服务Milvus版」,并继续维持公测。全新升级后的“向量检索服务Milvus版”将提供独立产品控制台、售卖入口、帮助文档,不仅集成了Zilliz高性能商业化内核,显著提升了检索性能,还推出了多项企业级独享功能,以满足更复杂的业务需求和企业级服务质量。欢迎大家前来试用体验!
向量检索 Milvus 版用户交流钉钉群:59530004993