本文尝试从Kubernetes Controller的种类、交互逻辑、最佳实践、伪代码示例及历史演进5个方面对其进行详细阐述,希望对您有所帮助!
一、Kubernetes Controller种类
Kubernetes Controller Manager 是 Kubernetes 集群的核心组件之一,负责管理和协调集群内各种控制器。控制器是实现 Kubernetes 集群自动化管理的核心部分,通过持续协调集群的实际状态和期望状态,确保资源的正确配置和运行。
Kubernetes Controller Manager 包含多个控制器,每个控制器负责特定的资源和任务。以下是一些主要控制器及其功能:
-
Node Controller
- 作用:监控节点的状态,负责在节点不可用时执行相应的操作,例如将 Pod 标记为不可调度、在节点无法通信时驱逐 Pod。
-
Replication Controller
- 作用:确保指定数量的 Pod 副本在任何时候都在运行。如果 Pod 被删除或崩溃,Replication Controller 会创建新的 Pod 来满足副本数要求。
-
Endpoint Controller
- 作用:填充 Endpoints 对象,使服务能够正确地找到相应的 Pod,确保服务与后端 Pod 之间的通信。
-
Service Account & Token Controllers
- 作用:创建默认的 Service Account 并管理 API 访问令牌,确保每个命名空间都有一个默认的 Service Account。
-
Namespace Controller
- 作用:处理命名空间的创建和删除,确保在删除命名空间时清理相关资源。
-
Job Controller
- 作用:管理 Job 对象,确保 Job 中定义的任务(Pod)按预期运行和完成,适用于一次性任务或批处理任务。
-
CronJob Controller
- 作用:管理 CronJob 对象,按照预定义的时间表周期性地运行 Job。
-
DaemonSet Controller
- 作用:确保每个节点上都运行一个 DaemonSet 定义的 Pod,通常用于节点级别的任务,例如日志收集和监控。
-
StatefulSet Controller
- 作用:管理有状态应用,确保有状态 Pod 的创建、删除和更新按序执行,维护 Pod 的稳定网络标识和持久存储。
-
Deployment Controller
- 作用:管理 Deployment 对象,确保应用按期望的版本和副本数运行,支持滚动更新和回滚。
-
ReplicaSet Controller
- 作用:类似于 Replication Controller,但功能更强大,通常与 Deployment 一起使用,确保指定数量的 Pod 副本在任何时候都在运行。
-
Horizontal Pod Autoscaler (HPA) Controller
- 作用:根据资源使用情况(例如 CPU 或内存)自动扩展或缩减 Pod 数量,以满足应用的需求。
-
Vertical Pod Autoscaler (VPA) Controller
- 作用:根据实际资源使用情况调整 Pod 的资源请求和限制(CPU 和内存),提高资源利用率。
-
Garbage Collector Controller
- 作用:负责清理被删除资源的相关依赖资源,例如删除被删除 Pod 关联的 PersistentVolumeClaim(PVC)。
-
Certificate Signing Request (CSR) Controller
- 作用:管理和批准/拒绝证书签名请求,通常用于自动化证书管理。
这些控制器通过不断检查集群的实际状态和期望状态,执行必要的操作来确保 Kubernetes 集群的稳定和可靠运行。
Kubernetes Controller Manager 包含的控制器非常多,以下是一些更高级的或特定于某些功能的控制器:
-
Ingress Controller
- 作用:管理 Ingress 资源,提供外部访问到集群内部服务的方式,通过 HTTP/HTTPS 路由流量。
-
ResourceQuota Controller
- 作用:管理和执行 ResourceQuota 资源,确保命名空间内的资源使用不超过设定的配额。
-
LimitRange Controller
- 作用:管理和执行 LimitRange 资源,设置命名空间内 Pod 和容器的默认资源请求和限制。
-
PersistentVolume Controller
- 作用:管理 PersistentVolume 资源,确保持久存储卷的生命周期,包括创建、绑定和回收。
-
PersistentVolumeClaim Controller
- 作用:管理 PersistentVolumeClaim 资源,确保持久存储卷正确地绑定到请求的 Pod。
-
StorageClass Controller
- 作用:管理 StorageClass 资源,定义不同存储提供者的存储类型和配置,支持动态存储卷的创建。
-
Certificate Controller
- 作用:管理 Kubernetes 内部证书的创建和分发,通常与 Cert-Manager 等工具集成。
-
PodDisruptionBudget (PDB) Controller
- 作用:管理 PodDisruptionBudget 资源,限制计划内的 Pod 中断(例如滚动更新或节点维护)以确保应用的高可用性。
-
NetworkPolicy Controller
- 作用:管理 NetworkPolicy 资源,控制 Pod 间的网络流量,增强集群的安全性。
-
Service Controller
- 作用:管理 Service 资源,确保服务的负载均衡和 IP 地址分配。
-
TTL Controller for Finished Resources
- 作用:管理和清理已完成的 Job 和 Pod,根据定义的 TTL(生存时间)自动删除这些资源。
-
EndpointSlice Controller
- 作用:管理 EndpointSlice 资源,提供比传统 Endpoints 更高效和可扩展的服务发现机制。
-
CSIDriver and CSINode Controllers
- 作用:管理和协调 CSI(容器存储接口)驱动程序,确保 CSI 驱动程序的注册和节点能力的报告。
-
VolumeAttachment Controller
- 作用:管理 VolumeAttachment 资源,处理动态存储卷的挂载和卸载请求。
-
ServiceAccountToken Controller
- 作用:管理 ServiceAccount 令牌的创建和分发,为 Pod 提供安全的 API 访问凭证。
这些控制器涵盖了 Kubernetes 集群中广泛的资源和功能,通过不断协调和管理这些资源,确保集群的自动化操作、资源管理和高可用性。
以下是一些更为细分和特定功能的控制器:
-
CSIDriver Controller
- 作用:管理 CSI 驱动程序的生命周期,确保 CSI 驱动程序正确注册和使用。
-
CSINode Controller
- 作用:协调 CSI 驱动程序和 Kubernetes 节点,确保节点报告正确的存储能力。
-
VolumeSnapshot Controller
- 作用:管理 VolumeSnapshot 和 VolumeSnapshotContent 资源,支持持久卷的快照和恢复功能。
-
CronJob Controller
- 作用:管理 CronJob 资源,按照预定义的时间表定期运行 Job。
-
ResourceClaim and ResourceClaimTemplate Controllers
- 作用:管理资源声明(ResourceClaim)和资源声明模板(ResourceClaimTemplate),用于动态分配和管理共享资源。
-
CustomResourceDefinition (CRD) Controller
- 作用:管理 CRD 资源,允许用户定义和使用自定义资源类型。
-
Event Controller
- 作用:管理集群中的事件对象,用于记录和追踪集群中的重要操作和状态变化。
-
Garbage Collector
- 作用:自动清理被删除资源的相关依赖资源,例如删除被删除 Pod 关联的 PersistentVolumeClaim(PVC)。
-
Priority and Fairness (P&F) Controller
- 作用:管理 API 请求的优先级和公平性,确保高优先级请求得到及时处理,同时防止资源耗尽。
-
TokenCleaner Controller
- 作用:清理过期的服务账户令牌,确保集群安全性。
-
PodSecurityPolicy (PSP) Controller
- 作用:管理 Pod 安全策略,控制 Pod 的安全设置和权限。
-
CertificateSigningRequest (CSR) Controller
- 作用:管理和批准/拒绝证书签名请求,通常用于自动化证书管理。
-
RuntimeClass Controller
- 作用:管理 RuntimeClass 资源,支持不同的容器运行时配置。
-
EndpointSlice Controller
- 作用:管理 EndpointSlice 资源,提供比传统 Endpoints 更高效和可扩展的服务发现机制。
-
MutatingAdmissionWebhook and ValidatingAdmissionWebhook Controllers
- 作用:管理和执行动态准入控制策略,通过 Webhook 实现对资源创建、更新的动态验证和修改。
-
ClusterRole and ClusterRoleBinding Controllers
- 作用:管理集群级别的角色和角色绑定,控制集群内用户和服务账户的权限。
-
Role and RoleBinding Controllers
- 作用:管理命名空间级别的角色和角色绑定,控制命名空间内用户和服务账户的权限。
-
Lease Controller
- 作用:管理租约资源(Lease),用于协调集群中的主选举等分布式协调任务。
-
APIService Controller
- 作用:管理 APIService 资源,协调 Kubernetes API 聚合层的注册和可用性。
这些控制器共同工作,确保 Kubernetes 集群的自动化管理、资源调度、安全性和高可用性。通过这些控制器,Kubernetes 实现了对集群资源的全面管理和高效运行。
二、Kubernetes 主要控制器与其他组件交互示意图
示意图
交互说明
-
kubectl / CLI 与 API Server 的交互:
- 用户通过 kubectl 或其他客户端工具向 API Server 发出 CRUD 操作请求(创建、读取、更新、删除)。
-
API Server 与 etcd 的交互:
- API Server 将集群状态存储到 etcd,并从 etcd 读取状态数据。
-
API Server 与 Scheduler 的交互:
- Scheduler 从 API Server 获取未调度的 Pod,确定它们的调度位置后将结果返回给 API Server。
-
API Server 与 Controller Manager 的交互:
- Controller Manager 从 API Server 获取资源状态,根据控制逻辑进行必要的调整,然后将更新后的状态提交回 API Server。
-
Controller Manager 内部控制器的交互:
- 各控制器(如 Node Controller、Replication Controller 等)负责特定资源的管理,通过 API Server 获取和更新状态。
-
API Server 与 Kubelet 的交互:
- Kubelet 从 API Server 获取调度到该节点的 Pod 信息,管理 Pod 和容器的生命周期,并将节点和 Pod 的状态报告给 API Server。
-
Kubelet 与 Container Runtime 的交互:
- Kubelet 通过 CRI 接口与容器运行时(如 Docker 或 containerd)通信,管理容器的创建、启动、停止等操作。
-
Kubelet 与 Pod Network 的交互:
- Kubelet 配置 Pod 的网络,通过 CNI 插件设置网络连接。
-
Kubelet 与 kube-proxy 的交互:
- Kube-proxy 维护网络规则和服务发现,通过 API Server 获取服务信息并在节点上配置网络规则。
-
Controller Manager 与 Persistent Storage 的交互:
- Controller Manager 通过 CSI 插件管理持久存储卷的生命周期,包括卷的创建、绑定和删除。
通过这样的示意图和详细说明,可以更直观地理解 Kubernetes 各主要组件和控制器之间的交互关系。
三、Kubernetes Controller最佳实践
在 Kubernetes 中,控制器(Controller)是保持系统实际状态与期望状态一致的关键组件。为了确保控制器的高效、可靠和安全运行,以下是一些最佳实践:
设计和实现控制器的最佳实践
-
Idempotency(幂等性)
- 确保控制器的操作是幂等的,这意味着无论操作执行多少次,结果应该是相同的。这可以避免因重复执行而产生的副作用。
-
Reconciliation Loop(协调循环)
- 实现一个可靠的协调循环来监控资源状态变化,并采取相应行动使其达到期望状态。这个循环应该能够处理突发的事件和定期的状态检查。
-
Event Handling(事件处理)
- 使用 Kubernetes 提供的 Informer 和 Watch 机制来监听资源变化事件,减少不必要的 API 调用,提高响应速度。
-
Error Handling(错误处理)
- 设计可靠的错误处理机制,记录错误日志,避免控制器因未处理的异常而崩溃。重试机制应考虑指数退避策略(exponential backoff)以避免过载。
-
Rate Limiting(限流)
- 实施限流机制来控制控制器的执行频率,防止由于频繁的重试和协调操作导致的资源消耗过大。
部署和管理控制器的最佳实践
-
Scalability(可扩展性)
- 确保控制器能够水平扩展(Horizontal Scaling),通过增加副本数来处理更多的负载。
-
Resource Management(资源管理)
- 为控制器设置合理的资源请求和限制(CPU 和内存),避免因资源耗尽导致控制器性能下降或崩溃。
-
Observability(可观察性)
- 实施日志记录、监控和告警机制。使用 Prometheus 监控控制器的指标,确保系统运行健康。
-
Security(安全性)
- 使用 Kubernetes RBAC(角色访问控制)来限制控制器的权限,仅授予其所需的最低权限(Principle of Least Privilege)。
- 定期更新控制器的镜像,确保使用最新的安全补丁。
开发控制器的最佳实践
-
Controller Libraries and Frameworks(控制器库和框架)
- 利用现有的 Kubernetes 控制器库和框架(如 Kubebuilder 和 Operator SDK)来简化控制器的开发和管理。
-
Testing(测试)
- 实施单元测试、集成测试和端到端测试,确保控制器在各种条件下的正确性和稳定性。
- 使用 Kind 或 Minikube 等本地 Kubernetes 环境进行测试,模拟真实场景。
-
Documentation(文档)
- 提供详细的控制器文档,包括架构设计、配置选项、使用指南和故障排除步骤,帮助用户理解和使用控制器。
高可用性和容错的最佳实践
-
Redundancy(冗余)
- 部署多个副本的控制器来提高高可用性,确保在单个副本失败时仍有其他副本继续工作。
-
Health Checks(健康检查)
- 配置 Liveness 和 Readiness 探针,以便 Kubernetes 能够自动检测和恢复故障的控制器实例。
-
Graceful Shutdown(优雅停机)
- 实现优雅停机机制,确保控制器在接收到终止信号时能够完成当前的协调任务,避免中间状态不一致。
通过遵循这些最佳实践,可以确保 Kubernetes 控制器的高效、可靠和安全运行,有助于维护集群的稳定性和高可用性。
四、Controller伪代码实现
为了实现一个遵循最佳实践的 Kubernetes 控制器,以下是一个使用 Go 语言编写的伪代码示例。该控制器监控自定义资源 Foo
,并确保每个 Foo
对象对应一个名为 bar-{foo_name}
的 ConfigMap 存在。
完整的 Go 语言实现 Kubernetes 控制器伪代码
package mainimport ("context""fmt""log""time"metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"corev1 "k8s.io/api/core/v1""k8s.io/client-go/informers""k8s.io/client-go/kubernetes""k8s.io/client-go/rest""k8s.io/client-go/tools/cache""k8s.io/client-go/util/retry""k8s.io/client-go/util/workqueue""k8s.io/apimachinery/pkg/util/wait"
)// FooController 定义控制器结构体
type FooController struct {clientset *kubernetes.Clientsetinformer cache.SharedIndexInformerworkqueue workqueue.RateLimitingInterface
}// NewFooController 创建新的控制器实例
func NewFooController(clientset *kubernetes.Clientset, informer cache.SharedIndexInformer) *FooController {workqueue := workqueue.NewNamedRateLimitingQueue(workqueue.DefaultControllerRateLimiter(), "Foo")informer.AddEventHandler(cache.ResourceEventHandlerFuncs{AddFunc: func(obj interface{}) {key, err := cache.MetaNamespaceKeyFunc(obj)if err == nil {workqueue.Add(key)}},UpdateFunc: func(oldObj, newObj interface{}) {key, err := cache.MetaNamespaceKeyFunc(newObj)if err == nil {workqueue.Add(key)}},DeleteFunc: func(obj interface{}) {key, err := cache.DeletionHandlingMetaNamespaceKeyFunc(obj)if err == nil {workqueue.Add(key)}},})return &FooController{clientset: clientset,informer: informer,workqueue: workqueue,}
}// Run 启动控制器
func (c *FooController) Run(stopCh <-chan struct{}) {defer c.workqueue.ShutDown()go c.informer.Run(stopCh)if !cache.WaitForCacheSync(stopCh, c.informer.HasSynced) {log.Fatalf("Error syncing cache")return}wait.Until(c.runWorker, time.Second, stopCh)
}// runWorker 处理队列中的项目
func (c *FooController) runWorker() {for c.processNextItem() {}
}// processNextItem 处理队列中的下一个项目
func (c *FooController) processNextItem() bool {key, quit := c.workqueue.Get()if quit {return false}defer c.workqueue.Done(key)err := c.syncHandler(key.(string))if err != nil {c.workqueue.AddRateLimited(key)} else {c.workqueue.Forget(key)}return true
}// syncHandler 同步资源状态
func (c *FooController) syncHandler(key string) error {namespace, name, err := cache.SplitMetaNamespaceKey(key)if err != nil {return fmt.Errorf("invalid resource key: %s", key)}// 获取 Foo 对象foo, err := c.informer.GetIndexer().ByNamespace(namespace).Get(name)if err != nil {if cache.IsNotFound(err) {// Foo 对象已被删除return nil}return err}// 确保对应的 ConfigMap 存在configMapName := fmt.Sprintf("bar-%s", name)configMap, err := c.clientset.CoreV1().ConfigMaps(namespace).Get(context.TODO(), configMapName, metav1.GetOptions{})if err != nil {if cache.IsNotFound(err) {// 创建 ConfigMapconfigMap = &corev1.ConfigMap{ObjectMeta: metav1.ObjectMeta{Name: configMapName,Namespace: namespace,},Data: map[string]string{"foo": name,},}_, err = c.clientset.CoreV1().ConfigMaps(namespace).Create(context.TODO(), configMap, metav1.CreateOptions{})if err != nil {return err}} else {return err}}return nil
}func main() {config, err := rest.InClusterConfig()if err != nil {log.Fatalf("Error building kubeconfig: %s", err.Error())}clientset, err := kubernetes.NewForConfig(config)if err != nil {log.Fatalf("Error building kubernetes clientset: %s", err.Error())}informerFactory := informers.NewSharedInformerFactory(clientset, time.Minute)fooInformer := informerFactory.Core().V1().ConfigMaps().Informer()controller := NewFooController(clientset, fooInformer)stopCh := make(chan struct{})defer close(stopCh)go controller.Run(stopCh)<-stopCh
}
代码说明
-
初始化控制器
NewFooController
函数初始化控制器,设置事件处理程序,将资源事件添加到工作队列。
-
运行控制器
Run
方法启动控制器,运行 Informer 并同步缓存,然后启动工作线程处理队列中的项目。
-
处理队列中的项目
runWorker
方法从队列中提取项目并调用processNextItem
处理它们。processNextItem
方法调用syncHandler
同步资源状态,并根据处理结果决定是否重新调度该项目。
-
同步资源状态
syncHandler
方法获取Foo
对象,并确保对应的 ConfigMap 存在。如果不存在,则创建它。
最佳实践
- Idempotency(幂等性):确保每次处理同一个资源时,结果是一致的,不会产生副作用。
- Reconciliation Loop(协调循环):通过
syncHandler
实现协调循环,保持实际状态与期望状态一致。 - Event Handling(事件处理):使用 Informer 监听资源变化,减少 API 调用。
- Error Handling(错误处理):通过重试机制处理错误,并使用速率限制器防止过载。
- Rate Limiting(限流):使用
RateLimitingInterface
控制工作队列的处理速率。 - Scalability(可扩展性):使用工作队列和多工作线程,提高处理能力。
- Resource Management(资源管理):在实际部署时,应设置合理的资源请求和限制。
- Observability(可观察性):记录日志(在实际实现中应添加日志记录)和监控指标。
- Security(安全性):使用适当的 RBAC 配置,确保控制器仅有必要的权限。
五、Kubernetes Controller历史演进
Kubernetes Controller Manager 作为 Kubernetes 集群的核心组件之一,其功能和架构在不同版本的 Kubernetes 中不断演进。以下是 Kubernetes Controller Manager 的历史演进概述:
初期阶段 (v1.0 之前)
在 Kubernetes 的早期版本中,Controller Manager 的概念并不明确。早期的控制器逻辑直接内置在 API Server 中,负责管理 Pod 和其他资源的生命周期。随着 Kubernetes 的发展,控制器逻辑逐渐被抽象和独立出来,形成了一个单独的组件。
v1.0 (2015)
- 单一二进制:最初,所有控制器都是作为一个单一的二进制文件
kube-controller-manager
运行。这种设计简化了部署和管理,但缺乏灵活性。 - 基本控制器:包括 Node Controller、Replication Controller、Endpoint Controller 和 Service Account Controller 等基本控制器。
v1.2 (2016)
- Horizontal Pod Autoscaler (HPA):引入了 HPA 控制器,用于基于 CPU 使用率自动扩展 Pod 数量。
v1.5 (2016)
- CustomResourceDefinition (CRD):替换了 ThirdPartyResource (TPR),允许用户定义自定义资源。CRD 控制器负责管理这些自定义资源。
- StatefulSet Controller:引入 StatefulSet 控制器,用于管理有状态应用,确保有序和稳定的 Pod 部署。
v1.6 (2017)
- Multiple Schedulers:引入了对多调度器的支持,允许用户使用自定义调度器。
- PodDisruptionBudget (PDB):引入 PDB 控制器,限制计划内的 Pod 中断以确保应用的高可用性。
v1.8 (2017)
- Taints and Tolerations:增强了调度功能,引入了污点和容忍,允许节点标记不适合运行某些 Pod 的原因。
v1.9 (2017)
- Workloads API 组:引入了新的工作负载 API 组,包括 Deployment、DaemonSet 和 StatefulSet 等,简化了工作负载管理。
v1.10 (2018)
- Volume Snapshots:引入 VolumeSnapshot 和 VolumeSnapshotContent 控制器,支持持久卷的快照和恢复功能。
v1.12 (2018)
- Topology Aware Volume Scheduling:改进了持久卷调度,考虑到存储卷的拓扑要求,以优化性能。
v1.14 (2019)
- Cluster API:引入 Cluster API 控制器,用于管理 Kubernetes 集群的生命周期(创建、升级、删除)。
v1.16 (2019)
- Custom Metrics:扩展 HPA 控制器,支持基于自定义指标的自动扩展。
v1.18 (2020)
- EndpointSlice:引入 EndpointSlice 控制器,提供比传统 Endpoints 更高效和可扩展的服务发现机制。
v1.19 (2020)
- CSI Volume Health Monitoring:改进了 CSI 控制器,添加了卷健康监控功能。
v1.20 (2020)
- Storage Capacity Tracking:增强了存储调度,支持跟踪和报告存储容量。
v1.21 (2021)
- Immutable Secrets and ConfigMaps:引入不可变的 Secrets 和 ConfigMaps,提高集群的安全性和性能。
v1.22 (2021)
- PodSecurityPolicy (PSP) Deprecated:宣布弃用 PodSecurityPolicy,逐步引入新的安全策略机制。
v1.23 (2021)
- CronJob Controller:CronJob 控制器正式成为稳定版,用于管理定时任务。
v1.24 (2022)
- PodSecurity Admission:引入 Pod 安全准入控制器,取代 PSP,提供灵活的 Pod 安全策略。
v1.25 (2022)
- Dynamic Resource Allocation:引入动态资源分配控制器,支持共享资源的动态分配和管理。
总结
Kubernetes Controller Manager 的演进体现了 Kubernetes 不断扩展和增强其功能以满足各种需求的过程。随着 Kubernetes 的发展,Controller Manager 添加了许多新功能和控制器,以更好地管理和调度集群资源,提升系统的自动化和智能化水平。这些演进帮助 Kubernetes 成为一个强大且灵活的容器编排平台。
完。
希望对您有用!关注锅总,及时获得更多花里胡哨的运维实用操作!
锅总微信公众号
锅总个人博客
https://gentlewok.blog.csdn.net/