大模型时代下的数据存储与分析该如何处理?有没有已经落地的应用实践?
为探讨这些问题,近日,阿里云联合 Zilliz 和 Doris 举办了一场以《大模型时代下的数据存储与分析》为主题的技术沙龙,其中,阿里云对象存储 OSS 上拥有海量的非结构化数据,Milvus(Zilliz)作为全球最有影响力的开源向量数据库项目 、Doris(飞轮科技)作为热门的数据分析项目,都积累了丰富的非结构化数据处理和分析的最佳实践。
沙龙现场,Zilliz 运营与生态负责人李晨进行了名为《向量数据库:大模型的记忆体》的主题分享。
受大模型催化,向量数据库方兴未艾。与传统数据库相比,向量数据库面向高维度向量,可以更好地处理图像、音频和视频等非结构化数据。李晨主要介绍了向量数据库的基本原理、应用场景和演进方向,以及 Zilliz 在此方向中的积累和心得。
他表示,向量数据库是 AIGC 大模型的重要补充,是提供准确可靠、高度可扩展的长短期“记忆”的关键载体,其在 LLM领域的应用主要可以分为以下 6 类:管理私有数据和知识库、为大模型提供实时数据更新、实现大模型的个性化和增强、提供智能体的记忆、保存大模型的处理结果、构建更复杂的AI系统。当然,