探索 Milvus 存储系统：如何评估和优化 Milvus 存储性能

欢迎来到探索 Milvus 系列。Milvus 是一款支持水平扩展和具备出色性能的开源向量数据库。Milvus 的核心是其强大的存储系统，是数据持久化和存储的关键基础。该系统包括几个关键组成部分：元数据存储（meta storage）、消息存储（log broker）和对象存储（object storage）。

本文将深入探讨 Milvus 架构，分析其核心存储组件，并介绍如何有效评估 Milvus 存储系统性能。

Milvus 架构

Milvus 采用了分布式架构，确保了存储和计算的分离，并支持水平扩展计算节点。Milvus 架构主要分为四层：接入层（Access Layer）、协调服务（Coordinator Service）、执行节点（Worker Node）和存储服务 （Storage）。每一层都可以独立扩展并针对灾难恢复进行了优化。

  • 接入层：作为系统的主要用户接口，由无状态代理组成，处理用户请求并优化响应。

  • 协调服务：作为系统中央协调服务，管理任务分配、集群拓扑、负载均衡和跨工作节点的数据管理。

  • 执行节点：作为执行者，负责完成协调服务下发的指令和 proxy 发起的数据操作语言（DML）命令。

  • 存储服务 ： 对数据持久性至关重要，负责 Milvus 数据的持久化，分为元数据存储（meta store）、消息存储（log broker）和对象存储（object storage）三个部分。

Milvus 存储组件

Milvus 使用以下三个主要的存储组件来确保数据的完整性和可用性。

元数据存储

负责存储元信息的快照，比如 collection schema 信息、节点状态信息、消息消费的 checkpoint 等。鉴于对高可用性、强一致性和事务支持的需求，Milvus 利用 etcd 作为其元存储解决方案。etcd 是一个健壮且分布式的键值存储，对 Milvus 内部的分布式系统至关重要。同时它还处理服务注册和健康检查以及元数据保存等任务。

对象存储

负责存储日志的快照文件、标量/向量索引文件以及查询的中间处理结果。Milvus 采用 MinIO 作为对象存储，另外也支持 AWS S3 和Azure Blob 这两大最广泛使用的低成本存储。但是由于对象存储访问延迟较高，且需要按照查询计费，因此 Milvus 未来计划支持基于内存或 SSD 的缓存池，通过冷热分离的方式提升性能以降低成本。

消息存储

消息存储是一套支持回放的发布订阅系统，用于持久化流式写入的数据，以及可靠的异步执行查询、事件通知和结果返回。执行节点宕机恢复时，通过回放消息存储保证增量数据的完整性。目前分布式 Milvus 依赖 Pulsar 作为消息存储，Milvus standalone 依赖 RocksDB 作为消息存储。消息存储也可以替换为 Kafka 等流式存储。

如何评估和优化 Milvus 存储的性能

持续评估和改进存储性能至关重要。

Etcd：Milvus 的元数据存储

Etcd 是为分布式系统设计的分布式键值存储。在 Milvus 中，etcd 用作元数据存储，存储诸如collection schema 信息、节点状态信息、消息消费的 checkpoint 等关键数据。

磁盘写入延迟对于 etcd 的性能至关重要；速度较慢的磁盘可能会显著增加请求延迟并危及系统稳定性。我们推荐在生产环境中至少保持 500+ IOPS（每秒输入/输出操作）以获得最佳性能，确保 99% 的 fdatasync 持续时间在十毫秒以下。虽然 etcd 通常只需适度的磁盘带宽，但增加带宽可以显著减少恢复时间。因此，我们推荐生产环境的最低磁盘带宽至少为 100MB/s。

为了验证您的存储解决方案是否满足这些标准，可以考虑使用 Fio 进行性能评估，Fio 是一种磁盘性能测试工具。

首先，请确保您的系统上安装了 Fio。然后，运行以下命令，指定挂载存储的目录作为测试数据目录。这个目录应该位于您的存储连接点之下。

fio --rw=write --ioengine=sync --fdatasync=1 --directory=test-data --size=22m --bs=2300 --name=mytest

查看结果，确保 99% 的 fdatasync 持续时间少于 10 毫秒，且写入 IOPS 高于 500。如果满足这些条件，则代表存储性能良好。

以下为输出结果示例：

Jobs: 1 (f=1): [W(1)][100.0%][w=1771KiB/s][w=788 IOPS][eta 00m:00s]
mytest: (groupid=0, jobs=1): err= 0: pid=703: Mon Jul 25 08:36:48 2022write: IOPS=967, BW=2173KiB/s (2225kB/s)(220MiB/103664msec); 0 zone resetsclat (nsec): min=1903, max=29662k, avg=287307.76, stdev=492386.04lat (nsec): min=1981, max=29662k, avg=287583.67, stdev=492438.10clat percentiles (usec):|  1.00th=[    3],  5.00th=[    4], 10.00th=[    4], 20.00th=[    5],| 30.00th=[    6], 40.00th=[    9], 50.00th=[  233], 60.00th=[  343],| 70.00th=[  437], 80.00th=[  553], 90.00th=[  701], 95.00th=[  742],| 99.00th=[ 1172], 99.50th=[ 2114], 99.90th=[ 6390], 99.95th=[ 8455],| 99.99th=[15533]bw (  KiB/s): min= 1630, max= 2484, per=100.00%, avg=2174.66, stdev=193.65, samples=207iops        : min=  726, max= 1106, avg=968.37, stdev=86.19, samples=207lat (usec)   : 2=0.03%, 4=16.49%, 10=27.68%, 20=3.21%, 50=0.71%lat (usec)   : 100=0.27%, 250=2.65%, 500=24.64%, 750=20.40%, 1000=2.57%lat (msec)   : 2=0.82%, 4=0.30%, 10=0.18%, 20=0.03%, 50=0.01%fsync/fdatasync/sync_file_range:sync (usec): min=309, max=21848, avg=741.93, stdev=489.64sync percentiles (usec):|  1.00th=[  392],  5.00th=[  437], 10.00th=[  474], 20.00th=[  529],| 30.00th=[  578], 40.00th=[  619], 50.00th=[  660], 60.00th=[  709],| 70.00th=[  742], 80.00th=[  791], 90.00th=[  988], 95.00th=[ 1369],| 99.00th=[ 2442], 99.50th=[ 3523], 99.90th=[ 6915], 99.95th=[ 8586],| 99.99th=[11994]

在云环境中部署 Milvus 集群时，由于 etcd 对磁盘性能的敏感性，选择适合的块存储类型至关重要。云服务提供商提供了各种块存储选项，每种都具备独特性能特征，适用于不同的工作场景。

以下是在各个云提供商推荐的使用的卷类型和性能指标。

云服务提供商卷类型规格IOPSP99 sync
AWSgp320Gi6604.3ms
GCPpd-ssd20Gi12621.3ms
AzurePremiumV220Gi7052.6ms
阿里云cloud_essd20Gi11373.5ms

您还可以使用 Fio 来确认所选的块存储是否满足 etcd 在 Milvus 部署中正常运行所需的性能基准。

MinIO：Milvus 对象存储工具

MinIO 是一种高性能、Kubernetes 原生的对象存储解决方案，专门针对云原生任务进行了优化。Milvus 使用 MinIO 来存储日志的快照文件、标量/向量索引文件以及查询的中间处理结果。

像 MinIO 这样的对象存储的性能主要通过 I/O 吞吐量而不是 IOPS 来衡量。这个指标显著影响 Milvus 中的各种操作，如加载 Collection、构建索引和插入数据。许多因素影响 MinIO 的吞吐性能，包括网络带宽、Linux 内核性能调优以及单个磁盘驱动器的性能。其中，磁盘性能尤为关键。

我们可以使用 dd 命令来测量单个驱动器的性能。DD 是一个 Unix 工具，它按位从一个文件复制数据到另一个文件，并提供了各种选项来控制每次读写的块大小。

在下面的示例中，当使用 16MB 块大小测试单个 NVMe 驱动器时， O_DIRECT 选项 count=64，每个驱动器写入性能超过每秒 2GB。

$ dd if=/dev/zero of=/mnt/drive/test bs=16M count=64 oflag=direct
64+0 records in
64+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.443096 s, 2.4 GB/s

在同一示例中，当使用 16MB 块大小测试单个 NVMe 驱动器时，O_DIRECT 选项 count=64，每个驱动器读取性能超过每秒 5GB。

$ dd of=/dev/null if=/mnt/drive/test bs=16M count=64 iflag=direct
64+0 records in
64+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.187263 s, 5.7 GB/s

磁盘驱动器的读写性能越高，MinIO 的整体吞吐性能越好。我们建议在 MinIO 设置中使用 SSD 或 NVMe 类型的驱动器作为存储磁盘，以获得最佳性能。这些驱动器可以有效支持 MinIO 操作的高吞吐量要求。请避免使用 SAN/NAS 设备作为 MinIO 存储，因为此类存储方式通常会引入并发问题和性能瓶颈，可能会降低系统的效率和响应性。

Pulsar/Kafka：Milvus 消息存储工具

如上所述，Milvus 根据特定的部署模式使用不同的日志代理工具。Milvus 分布式版使用 Pulsar 或 Kafka，而 Milvus Standalone 版本通常使用 RocksDB。

Pulsar 和 Kafka 都用于支持持久性消息存储，并为消息消费提供高吞吐量。它们的性能严重依赖于所使用的磁盘存储类型，因为它们依赖于磁盘 I/O 操作。

对于 Pulsar，高性能磁盘对于保证 BookKeeper 的日志文件的数据完整性和持久性至关重要。Pulsar Ledgers 和 Kafka 都针对磁盘效率进行了优化，利用文件系统缓存，并且在 HDD 和 SSD 上表现良好。然而，对于追求低延时的应用或大规模部署，SSD 有着显著的性能优势。

为了优化性能，应为 Pulsar 和 Kafka 使用多个磁盘设备。特别是对于 Pulsar，使用单独的磁盘存储日志可以将写操作的延迟与读操作隔离开来。为了确保最佳的延迟，不要使用相同的驱动器存储数据、应用程序日志或其他操作系统的活动。这些驱动器可以使用 RAID 配置为单个卷，或者每个驱动器可以格式化并挂载为自己的目录。应避免使用共享存储（SAN/NAS），因为它的性能较慢，延迟更高且更不稳定，并且可能成为单点故障。

总结

本文对 Milvus 存储系统进行了深入探索，并全面介绍了 Milvus 存储架构和组件，展现了这些存储组件在支持大规模数据管理和分析中的作用。此外，本文还详细分析了 Milvus 的三个主要存储组件——元数据存储、对象存储和消息存储系统，并提供了评估和优化 Milvus 存储性能的最佳实践。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/386139.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LexLIP——图片搜索中的多模态稀疏化召回方法

LexLIP——图片搜索中的多模态稀疏化召回方法

LexLIP——图片搜索中的多模态稀疏化召回方法 FesianXu 20240728 at WeChat Search Team 前言 最近笔者在回顾&笔记一些老论文，准备整理下之前看的一篇论文LexLIP，其很适合在真实的图片搜索业务场景中落地，希望笔记能给读者带来启发。如…
阅读更多...
深度学习趋同性的量化探索：以多模态学习与联合嵌入为例

深度学习趋同性的量化探索：以多模态学习与联合嵌入为例

深度学习趋同性的量化探索：以多模态学习与联合嵌入为例 参考文献 据说是2024年最好的人工智能论文，是否有划时代的意义？ [2405.07987] The Platonic Representation Hypothesis (arxiv.org) ​arxiv.org/abs/2405.07987 趋同性的量化表达 …
阅读更多...
【2024蓝桥杯/C++/A组/零食采购】

【2024蓝桥杯/C++/A组/零食采购】

题目 方法 最近公共祖先lca的倍增算法binary lifting 深度优先搜索 二进制模拟 代码 #include<bits/stdc.h> using namespace std;// 定义常量N const int N 1e510;// 边的集合 vector<int> edge[N]; // 每个节点对应的数值 int num[N]; // 父节点数组&#x…
阅读更多...
VS code 与Pycharm 的使用区别（个人）

VS code 与Pycharm 的使用区别（个人）

注明&#xff1a;本文从这开始VS code简称VS&#xff0c;Pycharm简称PY 安装包大小 VS:PY 1:0 安装后实际大小 vs py VS:PY 2:0 界面ui&#xff08;简易&#xff09; vs py VS:PY 2:1 启动速度 VS:PY 3:1 注&#xff1a;以上为个人测评&#xff0c;无特殊意图
阅读更多...
DHCP笔记

DHCP笔记

DHCP---动态主机配置协议 作用&#xff1a;为终端动态提供IP地址&#xff0c;子网掩码&#xff0c;网关&#xff0c;DNS网址等信息 具体流程 报文抓包 在DHCP服务器分配iP地址之间会进行广播发送arp报文&#xff0c;接收IP地址的设备也会发送&#xff0c;防止其他设备已经使用…
阅读更多...
Google Test 学习笔记（简称GTest）

Google Test 学习笔记（简称GTest）

文章目录 一、介绍1.1 介绍1.2 教程 二、使用2.1 基本使用2.1.1 安装GTest &#xff08;下载和编译&#xff09;2.1.2 编写测试2.1.3 运行测试2.1.4 高级特性2.1.5 调试和分析 2.2 源码自带测试用例2.3 TEST 使用2.3.1 TestCase的介绍2.3.2 TEST宏demo1demo2 2.3.3 TEST_F宏2.3…
阅读更多...
【SOC 芯片设计 DFT 学习专栏 -- DFT OCC 与 ATPG的介绍】

【SOC 芯片设计 DFT 学习专栏 -- DFT OCC 与 ATPG的介绍】

请阅读【嵌入式及芯片开发学必备专栏】 请阅读【芯片设计 DFT 学习系列 】 如有侵权&#xff0c;请联系删除 转自&#xff1a; 简矽芯学堂 简矽芯学堂 2024年01月18日 09:00 陕西 文章目录 OCC 介绍Fast ScanFull chip ATPGPartition ATPGHierarchical ATPG OCC 介绍 OCC&am…
阅读更多...
反激Flyback从逆向到初步设计(UC2844)

反激Flyback从逆向到初步设计(UC2844)

一.Flyback基本拓扑 国标gb/t 12325-2008《电能质量供电电压偏差》规定&#xff1a;220v单向供电电压偏差为标称电压的-10%&#xff0c;7%。 对应220V的标称电压&#xff0c;其浮动范围是在198~235.4V。以下运算均基于此规定进行。 首先220V进入EMI模块&#xff0c;消除差模干扰…
阅读更多...
SSRF学习笔记

SSRF学习笔记

1.NAT学习 Nat&#xff08;Network Address Translation&#xff0c;网络地址转换&#xff09;是 一种网络通信技术主要用于将私有网络中的内部IP地址转换成公共网络中的公共IP地址&#xff0c;以实现局域网内部设备访问互联网的功能。具体来说&#xff0c;Nat有以下几个主要…
阅读更多...
redis的学习

redis的学习

! 快速入门 安装 1.使用docker安装redis docker pull redisdocker run -d --name redis -p 6379:6379 --restart unless-stopped -v /etc/docker/Redis/data:/data -v /etc/docker/Redis/conf/redis.conf:/usr/local/etc/redis/redis.conf redis redis-server /usr/local/e…
阅读更多...
小白也能读懂的ConvLSTM！(开源pytorch代码)

小白也能读懂的ConvLSTM！(开源pytorch代码)

ConvLSTM 1. 算法简介与应用场景2. 算法原理2.1 LSTM基础2.2 ConvLSTM原理2.2.1 ConvLSTM的结构2.2.2 卷积操作的优点 2.3 LSTM与ConvLSTM的对比分析2.4 ConvLSTM的应用 3. PyTorch代码参考文献 仅需要网络源码的可以直接跳到末尾即可 1. 算法简介与应用场景 ConvLSTM&#x…
阅读更多...
【漏洞复现】phpStudy 小皮 Windows面板 存在RCE漏洞

【漏洞复现】phpStudy 小皮 Windows面板 存在RCE漏洞

靶场资料后台自行领取【靶场】 image-20240726092307252 PhpStudy小皮面板曝RCE漏洞&#xff0c;本质是存储型XSS引发。攻击者通过登录用户名输入XSS代码&#xff0c;结合后台计划任务功能&#xff0c;实现远程代码执行&#xff0c;严重威胁服务器安全。建议立即更新至安全版…
阅读更多...
OpenSSL SSL_connect: Connection was reset in connection to github.com:443

OpenSSL SSL_connect: Connection was reset in connection to github.com:443

OpenSSL SSL_connect: Connection was reset in connection to github.com:443 目录 OpenSSL SSL_connect: Connection was reset in connection to github.com:443 【常见模块错误】 【解决方案】 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页&…
阅读更多...
机器视觉12-相机

机器视觉12-相机

相机 作用: 工业相机 是 机器视觉系统 的重要组成部分 最本质的功能就是通过CCD或CMOS成 像传感器将镜头产生的光信号转变为 有序的电信号&#xff0c;并将这些信息通过相 应接口传送到计算机主机 工业相机分类 目前业内没有对相机进行明确的分类定义&#xff0c; 以下分类是…
阅读更多...
正点原子 通用外设配置模型 GPIO配置步骤 NVIC配置

正点原子 通用外设配置模型 GPIO配置步骤 NVIC配置

1. 这个是通用外设驱动模式配置 除了初始化是必须的 其他不是必须的 2. gpio配置步骤 1.使能时钟是相当于开电 2.设置工作模式是配置是输出还是输入 是上拉输入还是下拉输入还是浮空 是高速度还是低速度这些 3 和 4小点就是读写io口的状态了 3. 这个图是正点原子 将GPIO 的时…
阅读更多...
鸿蒙开发—黑马云音乐之Music页面

鸿蒙开发—黑马云音乐之Music页面

目录 1.外层容器效果 2.信息区-发光效果 3.信息区-内容布局 4.播放列表布局 5.播放列表动态化 6.模拟器运行并配置权限 效果&#xff1a; 1.外层容器效果 Entry Component export struct MuiscPage {build() {Column() {// 信息区域Column() {}.width(100%)// .backgroun…
阅读更多...
带有扰动观测器的MPC电机控制

带有扰动观测器的MPC电机控制

模型预测控制(Model Predictive Contro1, MPC)是一种先进的控制策略&#xff0c;虽然具有鲁棒性、建模简单、处理多变量系统、显示约束、预测未来行为和优化性能的能力等优势。它的不足在于预测控制行为的计算需要繁琐的计算量&#xff0c;以及抗干扰能力较弱。这里提出基于扰动…
阅读更多...
GPIO子系统

GPIO子系统

1. GPIO子系统视频概述 1.1 GPIO子系统的作用 芯片内部有很多引脚&#xff0c;这些引脚可以接到GPIO模块&#xff0c;也可以接到I2C等模块。 通过Pinctrl子系统来选择引脚的功能(mux function)、配置引脚&#xff1a; 当一个引脚被复用为GPIO功能时&#xff0c;我们可以去设…
阅读更多...
数组模拟单调栈--C++

数组模拟单调栈--C++

本题的计算量较大&#xff0c;用暴力算法会超时&#xff0c;的用别的方法&#xff0c;我们假设在左边找第一个比它小的数&#xff0c;那么在左边出现一次的数如果比右边大了&#xff0c;那么就不会在出现了&#xff0c;我们将它删除掉就可以了&#xff0c;用这个方法我们可以的…
阅读更多...
28.Labview界面设计(上篇) --- 软件登陆界面设计与控件美化

28.Labview界面设计(上篇) --- 软件登陆界面设计与控件美化

摘要&#xff1a; 作为GUI界面设计的老大哥般的存在&#xff0c;Labview本身的G语言属性就展现了其优越的外观设计能力&#xff0c;其中不乏许多编程爱好者、架构师等的喜欢使用Labview进行界面相关的设计&#xff0c;而使用Matlab、Python等软件写底层数据处理模块、自动化脚本…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发