如何设计一个面向开发者全生命周期成本的全托管向量检索服务产品？

向量数据库的新趋势已然开始显现！

2023 年初，我曾预测过今年向量数据库发展的八大趋势《向量数据库的下一站，2023 的 8 个预测》，其中提到：向量数据库会出现分叉和分层，离线与在线将共存，单机与分布式向量数据库将一同发展。如今，这些趋势日渐明朗，轻量级向量数据库如 Chroma 的推出，传统数据库转型为向量数据库的例子如 PGVector，以及 Snowflake 收购 Neeva 进军非结构化数据领域等，都在实践中验证了我的预测。

更令人激动的是，随着 ChatGPT 席卷而来的大语言模型 AIGC 浪潮，越来越多的预言正逐步变为现实。我们见证了向量数据库与传统数据库的融合，目睹了新版 Zilliz Cloud Serverless 向量数据库的诞生，也看到了过去一年中向量数据库开发者对推进性能和成本优化的努力。

AIGC 的爆发推动了向量检索的发展，自然也带来了大量的新需求。向量数据库的用户群体不再局限于算法工程师，还扩展到应用开发者和后端工程师。这种变化既促进了向量数据库的迭代，也挑战着我们对向量数据库的现有认知，鞭策我们更加深入地挖掘用户需求。

在过去六个月的时间里，我深刻地体会到产品的发展离不开用户需求驱动的真理。作为产品的设计者和开发者，必须始终以用户为中心，积极倾听他们的需求，并集中精力降低软件开发的全链路成本，而非过度追求极致性能或过分炫技。在这种背景下，降低开发者的综合使用成本已成为 Zilliz Cloud 和开发团队过去的主要使命。

01.我们为什么需要 Zilliz Cloud？

2022 年底， Zilliz Cloud 1.0 在 AWS 上线。2023 年 6 月，升级版 Zilliz Cloud 在 AWS 和 GCP 上线。这期间我一直在思考一个关键问题，即【如何准确传达基础软件的产品价值】。

在传统的深度学习流程中，人们通常会过度强调数据和模型的价值，往往忽视了基础设施包括存储在整个业务流程中的重要作用。2023 年随着大模型的出现，应用开发范式发生了巨大变化，模型的泛化能力大幅增强，AI 应用的开发门槛大幅降低。在此背景下，从业者必须重新审视和评估向量数据库的价值。如何让用户用得起、用得爽、用得放心成为我们首要的关注点。

在我看来，云服务和基础设施应该将考虑的重点放在如何降低 AI 应用开发者的全生命周期应用成本上面，这不仅仅是单纯的向量检索速度和存储成本的问题，更多的是帮助用户专注于他们自身的业务逻辑，更快速地进行版本开发和迭代，降低用户维护的心智成本。这就要求我们提高基础设施层的抽象层次，降低对开发者底层知识了解程度的需求。

对于用户来说：

动态 Schema 比固定 Schema 更具优势，因为它为用户提供了更大的灵活性和自由度。
Serverless 优于容量规划，因为它能够根据用户的需求自动调整资源，从而使用户无需担心底层资源的管理。
原生分布式比分库分表更具优势，因为这大大减少了用户的运维操作。
自动优化优于 Knob Tuning，因为它可以帮助用户自动选择最优的执行策略，无需用户进行繁琐的参数调整。

如果说 Milvus 2.0 的诞生初心是做全球领先的向量数据库，是我们借助开源力量对 AI 普惠的一次尝试，那么 Zilliz Cloud 的诞生初心则是做开箱即用的向量检索云服务。Zilliz Cloud 是我们自身对于 AI 普惠的再次探索，向量数据库云服务 + 大模型将构建 AI 的成本大幅降低，使得非互联网传统企业和创业公司具备了构建基于 AI 创新的应用成为可能。

目前，更新版的 Zilliz Cloud 支持了动态 Schema、OpenAPI、多租户 Parititon key 等能力，大大降低开发的成本。同时，在硬件成本和维护成本方面我们也进行了优化，详细内容可参考后续文章。

02.Zilliz Cloud 的未来规划

虽然向量数据库及其托管服务还处于孵化初期，但我坚信每一款赢得开发者认可的向量数据库都必然拥有独特的价值。Zilliz Cloud 自诞生之日起，就坚定地以提高开发者的开发效率为己任，帮助用户深挖非结构化数据中蕴藏的巨大潜力。我们鼓励并欢迎任何新的想法和建议，期待与大家共同探索向量检索的下一步。

以下，我想列举一些在 Zilliz Cloud 未来可能呈现的新功能：

专门针对非结构化数据处理的流程管线（Pipeline）：不仅包含文档增强，问答机器人等基本能力，也将包括更加丰富的多模态数据处理能力，进一步赋能非结构化数据处理应用。
提供更为复杂的聚合函数支持：包括但不限于 Count、Min、Max 以及 GroupBy 等，为数据分析提供更为广泛且深入的能力。
推出下一代标量查询引擎和向量检索引擎，性能成本提升至现有引擎的 3 倍。
支持稠密向量和稀疏向量混合打分模式，并支持粗排精排，进一步增强召回效果。
实现根据存储容量自动扩缩容：提高向量数据库的弹性，适应业务量的变化，进一步降低用户的维护心智。
提供更加丰富的数据服务能力，包括从开源的 ES、MongoDB 进行数据迁移，增量数据订阅，主备容灾，以满足各种不同的数据处理需求。
进一步扩大服务范围，我们将在日本，新加坡，欧洲等地区增设更多可用区：我们期待能为全球更多用户提供优质的服务。