Cilium系列-13-启用XDP加速及Cilium性能调优总结

系列文章

  • Cilium 系列文章

前言

将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:

  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
  • 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
  • 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
  • (高级用户可选)调整 eBPF Map Size
  • Linux Kernel 优化和升级
    • CONFIG_PREEMPT_NONE=y
  • 其他:
    • tuned network-* profiles, 如: tuned-adm profile network-latency 或 network-throughput
    • CPU 调为性能模式
    • 停止 irqbalance，将网卡中断引脚指向特定 CPU

在网络/网卡设备/OS等条件满足的情况下, 我们尽可能多地启用这些调优选项, 相关优化项会在后续文章逐一更新. 敬请期待.

今天我们来调优 Cilium, 启用 XDP 加速, 以便能够直接从网络驱动层处理 NodePort 等入站请求，这有助于减少延迟和扩展服务。另外并对 Cilium 性能调优做阶段总结.

XDP 加速

Cilium 内置了对 NodePort、LoadBalancer 服务和具有外部 IP 的服务的加速支持，以便在后端位于远程节点时，将到达的请求从该节点直接推回。该功能在 Cilium 1.8 版的 XDP（eXpress Data Path）层中引入，eBPF 直接在网络驱动程序中运行，而不是在更高层中运行。

在这种情况下，网络数据包不需要一直推送到上层网络堆栈，而是在 XDP 的帮助下，Cilium 能够直接从网络驱动层处理这些请求。鉴于单个节点的转发能力大幅提高，这有助于减少延迟和扩展服务。从 Cilium 1.8 版开始，XDP 层的 kube-proxy 将被替换。

要求

  • Kernel >= 4.19.57, >= 5.1.16, >= 5.2
  • 支持原生的 XDP 驱动程序，具体请查看 Cilium 的驱动程序列表
  • Direct-routing 配置
  • 基于 eBPF 的 kube-proxy 替换

要启用 XDP 加速，请查看 Cilium 的入门指南，其中还包含在公共云提供商上进行设置的说明。

该模式设置 loadBalancer.acceleration 允许通过 native 选项启用加速。禁用选项是默认选项，用于禁用加速。大多数支持 10G 或更高速率的驱动程序在最新内核上也支持 native XDP。对于基于云的部署，这些驱动程序中的大多数都有支持本地 XDP 的 SR-IOV 变体。对于内部部署，Cilium XDP 加速可与 Kubernetes 的负载平衡器服务实现（如 MetalLB）结合使用。加速功能只能在用于直接路由的单个设备上启用。

负载平衡器加速设置支持 DSR、SNAT 和混合模式.

为了了解 Cilium 的 XDP 服务加速在全局中的位置，下文简要介绍了 Cilium 1.8 的服务负载平衡架构:

XDP

可以看出，Cilium 在 eBPF 中的 kube-proxy 替代方案在高层上由两个主要部分组成：套接字层的 eBPF 和驱动层的 eBPF。

  • 东西向流量，即所有 Cilium 管理节点之间的服务流量，仅在内核的套接字层处理，在此之前不会为数据包元数据分配内存。在这一点上执行，可使 Cilium 消除服务转换的每包成本。
  • 南北流量，即从外部源到 Cilium 管理节点的所有入站服务流量，都在尽可能靠近驱动层的地方进行处理，在单个接口上进行入口和出口操作。这样就能非常快速地处理转发，甚至可以在堆栈上层进行任何昂贵的操作之前，将流量丢弃或反射回入站接口。处理南北流量的后一个组件则通过 XDP 进行加速。

Cilium 的服务 XDP 加速目前支持直接路由模式，与我们的 tc eBPF 实现共享相同的核心代码。在 XDP 服务转换后，提供了三种将流量重定向到远程后端的选项：DSR、SNAT 和 Hybrid。

实施

helm upgrade cilium cilium/cilium --version 1.13.4 \--namespace kube-system \--reuse-values \--set loadBalancer.acceleration=native

验证

要验证您的安装是否使用了 XDP 加速功能，请在任何一个 Cilium pod 中运行 cilium status，并查找报告 "XDP Acceleration"状态的行，其中应显示 "Native"。如下所示:

$ kubectl -n kube-system exec ds/cilium -- cilium status --verbose | grep XDPXDP Acceleration:    Native

请注意，在 XDP 层为处理 NodePort 而从设备推回的数据包在 tcpdump 中是看不到的，因为数据包抽头是在网络堆栈的较后阶段出现的。可以使用 Cilium 的监控命令或 metric counters 来获得可见性。

性能提升

Cilium 进行了初步的基准测试，将单个服务部署到一个刚刚部署了 kubeadm 的节点上，该节点的内核为 5.7，使用基于 iptables 和 ipvs 的 kube-proxy 运行以获得基线，然后将 Cilium 的 kube-proxy 替换从 tc 和 XDP 端插入 eBPF，并将其置于 eBPF 的正前方：

XDP Benchmark Graph

初步结果显示，Cilium 的 kube-proxy 替代品的 XDP 加速能力大幅提升，能够最大限度地利用数据包生成器，将所有 1000 万个传入请求推送到远程服务后端，而使用 kube-proxy 时，被测节点每秒只能为同一服务转发约 210 万个请求，其余请求则会被丢弃。在 ipvs 中也观察到了类似的情况，尽管与 iptables 相比，ipvs 对大量服务的 "首包 "可扩展性更好，但每包成本似乎略高。将 kube-proxy 替换为 Cilium 的 tc eBPF 实现，不仅解决了 "第一数据包"可扩展性问题，还提高了性能，这一点从该节点每秒约 360 万次请求中可以看出，不过这仍然无法与 Cilium 在 XDP 层进行加速时获得的显著增益相比：

XDP Benchmark

比较 kube-proxy 和 Cilium 的 XDP 实现在每秒 1000 万次请求下的火焰图，还显示了在驱动程序的轮询例程中加速服务处理的捷径。此外，与在 tc 下运行 eBPF 的 Cilium 以及在 iptables 和 ipvs 模式下的 kube-proxy 相比，在 softirq 环境下，XDP 加速转发所需的处理开销要少得多。下面的测试在原本空闲的系统上运行，节点的 CPU 仅用于处理 softirq。图中显示了可用的剩余 CPU 容量。从图中可以看出，即使在特定节点每秒约 100 万个请求的低速率下，CPU 也只将约 13% 的时间用于处理 XDP 的 softirq 上下文，因此还有 87% 的剩余容量可用于其他方面，而在 kube-proxy 情况下，CPU 至少将 60% 的时间用于服务 softirq 上下文，最多只有 40% 的剩余可用容量。在每秒约 200 万或 400 万个请求的情况下，kube-proxy 的情况会变得更糟，只有 1-2% 的空闲份额，而 CPU 要花 98% 的时间在 softirq 上下文中处理数据包：

XDP CPU

简而言之，利用 Cilium 加速 XDP 下的 Kubernetes 服务处理，可大幅提高向远程后端推送数据包的性能，同时显著降低 CPU 开销。在默认外部流量策略（externalTrafficPolicy: Cluster）下，这也提高了集群的整体容量。这意味着，将服务扩展到更多后端只能达到单个节点向这些后端转发能力的上限。不过，即使 Kubernetes 部署不需要处理那么多数据包，这些 CPU 周期也可以释放出来，用于实际的用户工作负载。

小结

本文继续调优 Cilium, 启用 XDP 加速, 以便能够直接从网络驱动层处理 NodePort 等入站请求. 具体收益为:

  • 大幅提高向远程后端推送数据包的性能
  • 显著降低 CPU 开销
  • 提高集群的整体容量

至此，性能调优已完成实战验证：

  • ✔️ 启用本地路由 (Native Routing)
  • ✔️ 完全替换 KubeProxy
  • ✔️ IP 地址伪装 (Masquerading) 切换为基于 eBPF 的模式
  • ✔️ Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • ✔️ 绕过 iptables 连接跟踪 (Bypass iptables Connection Tracking)
  • ✔️ 主机路由 (Host Routing) 切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • ❌ 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19, 支持的 NICs: mlx4, mlx5)
    • 由于没有支持的网卡, 无法完成验证
  • ❌ 修改 MTU 为巨型帧 (jumbo frames) （需要网络条件允许）
    • 由于网络条件不允许, 无法完成验证
  • ✔️ 启用带宽管理器 (Bandwidth Manager) (需要 Kernel >= 5.1)
  • ✔️ 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • ✔️ 启用 XDP 加速 （需要 支持本地 XDP 驱动程序）

Cilium 性能调优总结

至此, 我们阶段性地完成了 Cilium 主要的性能优化点.

Cilium 调优分为以下几个大维度:

  1. Cilium 调优
  2. 底层网络调优
  3. Linux Kernel 优化和升级
  4. 其他维度调优

Cilium 调优

Cilium 调优包括:

  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
  • 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
  • (高级用户可选)调整 eBPF Map Size

底层网络调优

底层网络调优包括:

  • 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)

Linux Kernel 优化和升级

Linux Kernel 优化和升级包括:

  • CONFIG_PREEMPT_NONE=y

其他维度调优

其他维度调优包括:

  • tuned network-* profiles, 如: tuned-adm profile network-latency 或 network-throughput
  • CPU 调为性能模式
  • 停止 irqbalance，将网卡中断引脚指向特定 CPU

Cilium "终极"优化配置

根据个人经验, 推荐的 Cilium "性能模式" 配置为:

首先, Kernel >= 5.10, 这是最新的稳定版的内核, 可以启用对调优非常重要的"基于 BPF 的主机路由"功能, 可以启用 Cilium 的大部分功能, 如下:

Cilium 功能最小 Kernel 版本
带宽管理器>= 5.1
Egress Gateway>= 5.2
VXLAN 隧道端点 (VTEP) 集成>= 5.2
WireGuard 透明加密>= 5.6
Session Affinity的完整支持>= 5.7
基于 BPF 的代理重定向>= 5.7
pod netns 中的套接字级 LB 旁路>= 5.7
L3 设备>= 5.8
基于 BPF 的主机路由>= 5.10
Pod 的 BBR 拥塞控制>=5.18
IPv6 BIG TCP 支持>= 5.19

之后, 推荐 Cilium 配置和功能包括:

  • 禁用隧道, 禁用加密
  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序, 但是大部分 10G/40G 网卡, 包括虚拟网卡以及云供应商已经支持了.)

绕过 iptables 连接跟踪(Bypass iptables Connection Tracking) 就是可选项了, 因为启用了"基于 BPF 模式的主机路由"后, 是没有必要设置改选项的.

启用 IPv6 BIG TCP 不建议启用, 一方面是对内核要求较高, 需要 Linux Kernel >= 5.19; 另一方面是 IPv6 在 Kubernetes 的使用还未大规模普及.

也不建议为了提升性能而禁用 Hubble, 因为可观察性比一点点的性能提升更重要.

不建议启用 Pod 的 BBR 拥塞控制, 也是因为其对内核要求较高, 需要 Kernel >= 5.18. 有条件的可以按需启用.

最终, 安装的命令如下:

helm install cilium cilium/cilium --version 1.13.4 \--namespace kube-system \--set operator.replicas=2 \--set hubble.relay.enabled=true \--set hubble.ui.enabled=true--set tunnel=disabled \--set kubeProxyReplacement=strict \--set bpf.masquerade=true \--set loadBalancer.mode=dsr \--set bandwidthManager.enabled=true \--set loadBalancer.acceleration=native \--set k8sServiceHost=${API_SERVER_IP} \--set k8sServicePort=${API_SERVER_PORT}

🐾Warning

  1. 本地路由需要添加更多 helm 参数, 请按照您的实际情况进行选择和添加.
  2. loadBalancer.mode 根据您的实际需求, 从 DSR 和 hybrid 中选择. (默认 SNAT 模式)

🎉🎉🎉

📚️参考文档

  • LoadBalancer & NodePort XDP Acceleration - Kubernetes Without kube-proxy — Cilium 1.13.4 documentation
  • Cilium 1.8: XDP Load Balancing, Cluster-wide Flow Visibility, Host Network Policy, Native GKE & Azure modes, Session Affinity, CRD-mode Scalability, Policy Audit mode, ...
  • Tuning Guide — Cilium 1.13.4 documentation

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/78176.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

express学习笔记7 - docker跟mysql篇

express学习笔记7 - docker跟mysql篇

安装Docker和Navicat Docker 进官⽹https://docs.docker.com/get-docker/ 选择机型安装即可。 Navicat（也可以在网上找个破解版本） 进官⽹https://www.navicat.com/en/products/navicat-premium 安装完之后连接新建⼀个数据库连接 然后再⾥⾯新建⼀个数…
阅读更多...
zookeeper的部署

zookeeper的部署

一 先下载zookeeper 二 解压包 三 修改配置文件 四 把配好文件传到其他的节点上面 五 在每个节点的dataDir指定的目录下创建一个 myid 的文件 六 配置zook的启动脚本 七 设置开机自启 八 分别启动 九查看当前状态service zookeeper status 十 总结 一 先下载zookeeper …
阅读更多...
Zebec 创始人 Sam 对话社区，“Zebec 生态发展”主题 AMA 回顾总结

Zebec 创始人 Sam 对话社区，“Zebec 生态发展”主题 AMA 回顾总结

近日，Zebec Protocol 创始人 Sam 作为嘉宾，与社区进行了以“Zebec 生态发展”为主题的 AMA 对话。Sam 在线上访谈上对 Zebec 路线图、Zebec 质押、NautChain通证进行了解读，并对 Zebec 的进展、生态建设的愿景进行了展望。本文将对本次 AMA 进…
阅读更多...
PtahDAO：全球首个DAO治理资产信托计划的金融平台

PtahDAO：全球首个DAO治理资产信托计划的金融平台

金融科技是当今世界最具创新力和影响力的领域之一，区块链技术作为金融科技的核心驱动力，正在颠覆传统的金融模式，为全球用户提供更加普惠、便捷、安全的金融服务。在这个变革的浪潮中，PtahDAO（普塔道）作为全…
阅读更多...
【cluster_block_exception】写操作elasticsearch索引报错

【cluster_block_exception】写操作elasticsearch索引报错

【cluster_block_exception】操作elasticsearch索引b报错 背景导致原因：解决方法： 背景 今天线上elk的数据太多，服务器的空间不足了。所以打算删除一些没用用的数据。我是用下面的request： POST /{index_name}/_delete_by_query…
阅读更多...
==和equals()：比较对象等不等？

==和equals()：比较对象等不等？

引言： 在编程中，我们常常需要判断两个对象是否相等。而在Java中，有两种常用的方法：使用""运算符和调用equals()方法。这两个方法有什么区别呢？它们又有哪些有趣的应用呢？让我们一起来探索一下吧&…
阅读更多...
怎么维护好自己的电脑

怎么维护好自己的电脑

你的电脑已经成为你工作、学习、娱乐的最佳工具之一，但是如果你不做好电脑维护工作，就可能面临着电脑变慢、蓝屏、崩溃等问题。在这篇文章中，我们将介绍10个电脑维护步骤，让你的电脑更加稳定！ 为什么需要电脑维护&…
阅读更多...
数据结构：双向链表的实现(C实现)

数据结构：双向链表的实现(C实现)

个人主页 ： 个人主页 个人专栏 ： 《数据结构》 《C语言》 文章目录 前言 一、实现思路1.节点的结构(ListNode)2.新节点的创建(BuyListNode)3.头结点的创建(ListCreate)4.双向链表的销毁(ListDestroy)5.双向链表的打印(ListPrint)6.双向链表的尾插(ListPu…
阅读更多...
解决单节点es索引yellow

解决单节点es索引yellow

现象 单节点的es，自动创建索引后，默认副本个数为1，索引状态为yellow 临时解决 修改副本个数为0 永久解决 方法1、修改elasticsearch.yml文件，添加配置并重启es number_of_replicas：副本分片数，默认…
阅读更多...
SpringBoot之logback-spring.xml详细配置

SpringBoot之logback-spring.xml详细配置

《logback官网》 各种指导文件&#xff0c;有空自己去看&#xff0c;比如&#xff1a;我们需要调整的是布局&#xff0c;直接看Layouts。 pom.xml <!-- 环境配置 --><profiles><profile><id>dev</id><properties><spring.profiles.a…
阅读更多...
K8s operator从0到1实战

K8s operator从0到1实战

Operator基础知识 Kubernetes Operator是一种用于管理和扩展Kubernetes应用程序的模式和工具。它们是一种自定义的Kubernetes控制器&#xff0c;可以根据特定的应用程序需求和业务逻辑扩展Kubernetes功能。 Kubernetes Operator基于Kubernetes的控制器模式&#xff0c;通过自…
阅读更多...
使用webpack建立React+TS项目

使用webpack建立React+TS项目

之前写过类似的文章&#xff0c;这次看到一本新书里也介绍了这个知识点&#xff0c;故尝试之。 Refer: 《Learn React With TypeScript - A Beginners Guide To Reactive Web Development With React 18 and TypeScript》chapter3 Creating a project with webpack 1.先建立一…
阅读更多...
p7付费课程笔记6：CMS GC

p7付费课程笔记6：CMS GC

目录 前言 工作步骤 缺点 问题 前言 上一章节我们讲了串/并行GC&#xff0c;这一章节说下CMS GC。看前思考一个问题&#xff0c;并行GC与CMS GC的区别在哪里。 什么是CMS收集器 CMS(Concurrent Mark-Sweep)是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。对于…
阅读更多...
设计模式之六：命令模式（封装调用）

设计模式之六：命令模式（封装调用）

命令模式可以将请求的对象和执行请求的对象解耦&#xff08;实际上是通过命令对象进行沟通&#xff0c;即解耦&#xff09;。&#xff08;个人感觉&#xff0c;这章讲的很一般&#xff09; 按个人理解来讲&#xff1a; 假如需要一个遥控器&#xff0c;遥控器有一个插口可以插上…
阅读更多...
[PM]敏捷开发之Scrum总结

[PM]敏捷开发之Scrum总结

在项目管理中&#xff0c;不少企业和项目团队也发现传统的项目管理模式已不能很好地适应今天的项目环境的要求。因此&#xff0c;敏捷项目管理应运而生&#xff0c;本文将为大家介绍Scrum敏捷项目管理以及应用方法。 什么是Scrum敏捷项目管理 敏捷项目管理作为新兴的项目管理模…
阅读更多...
redis缓存雪崩和缓存击穿

redis缓存雪崩和缓存击穿

目录 缓存雪崩 解决方案&#xff1a; 缓存击穿 ​解决方案 缓存雪崩 缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机&#xff0c;导致大量请求到达数据库&#xff0c;带来巨大压力。 解决方案&#xff1a; u 给不同的 Key 的 TTL 添加随机值 u 利用 Redis …
阅读更多...
Redis的基础

Redis的基础

一、进入redis 内部 / 关闭 # 方式一&#xff1a; // 进入redis redis-cli // 有密码输入密码 &#xff1a;auth [username] password auth 123456 # 方式二&#xff1a; // 进入redis 并且输入密码 redis-cli -a 123456// 如果在docker 里面的则可以 docker exec -it redis…
阅读更多...
架构,性能和游戏 《游戏编程模式》学习笔记

架构,性能和游戏 《游戏编程模式》学习笔记

开新坑&#xff0c;准备把《游戏编程模式》这本书啃完。这是一本讲设计模式的书&#xff0c;针对游戏开发而作&#xff0c;写得很好。 以下是读书笔记&#xff0c;文末有原文链接 每个程序都有一定的软件架构&#xff0c;哪怕是全塞到main里也是一种架构好的架构可以把代码写成…
阅读更多...
RocketMQ使用

RocketMQ使用

说明&#xff1a;本文介绍RocketMQ的消费模式&消息类型&#xff0c;RocketMQ的安装参考及简单使用&#xff0c;参考&#xff1a;http://t.csdn.cn/BKFPj 消费模式 RocketMQ与RabbitMQ最大的区别在于&#xff0c;RocketMQ是根据消息的Topic锁定消费者的&#xff0c;Topic属…
阅读更多...
摄像头电池组和平衡车电池组

摄像头电池组和平衡车电池组

摄像头电池组 Wh~是电量 Wh V*Ah 毫安(mA)~是电流 电量是9.62Wh&#xff0c;电压是 3.7v 9.62 wh / 3.7v 2.6 Ah 2600mAH 4个并联电池&#xff1a;10400mAH / 4 2600mAH PH2.0mm-2Pins 平衡车 72 wh / 36v 2 Ah 2000mAH 对比自己买的单粒电池 vs 摄像头和平衡车的 …
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023