K8S如何部署ZooKeeper以及如何进行ZooKeeper的平滑替换

2.png

前言

在之前的章节中，我们已经成功地将Dubbo项目迁移到了云环境。在这个过程中，我们选择了单机ZooKeeper作为注册中心。接下来，我们将探讨如何将单机ZooKeeper部署到云端，以及在上云过程中可能遇到的问题及解决方案。

ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会开发。它主要用于实现分布式系统中的配置管理、命名服务、分布式同步和组服务等，是一个功能强大、高性能、高可用性和可扩展性的分布式协调服务，广泛应用于各种分布式系统和微服务架构中。ZooKeeper的主要特点如下：

  • 高可用性：ZooKeeper通过在集群中选举领导者来确保系统的可用性。当领导者不可用时，其他服务器可以自动选举出新的领导者，从而保证了系统的持续运行。

  • 数据一致性：ZooKeeper使用一种称为“原子广播”的数据同步机制，确保所有节点上的数据保持一致。这对于需要高度一致性的分布式应用(如金融交易系统)非常重要。

  • 高性能：ZooKeeper具有低延迟和高吞吐量的特点，适用于处理大量并发请求。它使用了多种优化技术，如内存管理和多线程，以提高性能。

  • 可扩展性：ZooKeeper支持水平扩展，可以通过增加服务器节点来提高系统的容量。此外，ZooKeeper还提供了负载均衡功能，可以根据服务器的负载情况自动分配客户端请求。

  • 灵活性：ZooKeeper提供了丰富的API和工具，方便开发者进行集成和定制。同时，它还支持多种编程语言，如Java、C++、Python等。

ZooKeeper的云端迁移

由于我们还有一些Dubbo服务并未部署在Kubernetes集群内，因此我们需要在Zookeeper中采用NodePort方式来暴露相关端口。这样一来，外部的Dubbo服务便可以通过访问Zookeeper节点的IP地址和NodePort号来建立连接，从而实现对其他Dubbo服务的访问。

在之前的文章中，我们提到了我们的Dubbo版本为2.7.22。因此，在查阅了Dubbo官方文档中关于Dubbo版本与ZooKeeper版本之间的依赖关系后，我们选择的ZooKeeper官方镜像为zookeeper:3.4.9。

Dubbo版本与ZooKeeper版本关系

基于以上的历史原因，我们最终的部署文件如下所示：

apiVersion: v1
kind: Service
metadata:name: zookeepernamespace: your-namespace
spec:selector:app: zookeepertype: NodePortports:- name: clientport: 2181targetPort: 2181nodePort: 30000- name: followerport: 2888targetPort: 2888nodePort: 30001- name: leaderport: 3888targetPort: 3888nodePort: 30002
---
apiVersion: apps/v1
kind: Deployment
metadata:name: zookeepernamespace: your-namespace
spec:replicas: 1selector:matchLabels:app: zookeepertemplate:metadata:labels:app: zookeeperspec:affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: project.nodeoperator: Invalues:- your-namespacecontainers:- name: zookeeperimage: zookeeper:3.4.9imagePullPolicy: IfNotPresentterminationMessagePath: /dev/termination-logterminationMessagePolicy: Fileports:- containerPort: 2181- containerPort: 2888- containerPort: 3888volumeMounts:- name: datamountPath: /datavolumes:- name: datahostPath:path: /var/lib/docker/zookeeper

在这个配置文件中，我们使用了一个名为zookeeper的Deployment来部署单机ZooKeeper，并使用了一个名为zookeeper的Service来暴露端口。Service的类型被设置为NodePort，这样可以在集群外部链接ZooKeeper。Service的选择器指定了要暴露的Pod，这里使用了一个名为zookeeper的标签。Service的端口被设置为2181、2888和3888，分别对应ZooKeeper的客户端端口、跟随者端口和领导者端口。targetPort字段指定了要转发到Pod的端口，这里使用了相同的端口号。nodePort字段指定了要暴露的端口号，这里分别使用了30000、30001和30002端口。我们将/data目录挂载到了宿主机的/var/lib/docker/zookeeper目录。这个目录用于存储ZooKeeper的数据和日志。

启动一个Dubbo服务，我们使用刚刚部署的Zookeeper作为注册中心。同时，我们也部署了一个Dubbo-Admin,它同样链接到刚刚部署的Zookeeper上。登录到Dubbo-Admin前端页面，我们发现服务已经成功注册。至此，Zookeeper已成功迁移到云端。

2.png

ZooKeeper的平滑迁移

根据上述步骤，我们已经成功部署了一个可用的单机ZooKeeper。那么，如何将线上存量服务在不停机的情况下优雅的平滑迁移过来呢？

其实，在Dubbo官方文档中，已经给了我们答案：多注册中心地址不聚合。

Dubbo 注册中心和服务是独立配置的，通常开发者不用设置服务和注册中心组件之间的关联关系，Dubbo 框架会将自动执行以下动作：

  • 对于所有的 Service 服务，向所有全局默认注册中心注册服务地址。
  • 对于所有的 Reference 服务，从所有全局默认注册中心订阅服务地址。
<dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" />
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" />

因此，当我们配置如上所示独立配置的注册中心组件时，Dubbo会将所有的Service服务同时注册到这两个ZooKeeper上，并且所有的Reference服务也会同时订阅这两个ZooKeeper。地址列表在消费端默认是完全隔离的，负载均衡选址要经过两步：

  1. 注册中心集群间选址，选定一个集群
  2. 注册中心集群内选址，在集群内进行地址筛选

1.png

注册中心集群间选址策略有如下几种：

  • 随机：默认策略，每次请求都随机的分配到一个注册中心集群。随机的过程中会有可用性检查，即每个集群要确保至少有一个地址可用才有可能被选到。

  • preferred 优先：如果有注册中心集群配置了 preferred="true"，则所有流量都会被路由到这个集群。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" preferred="true"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" />

  • weighted：基于权重的随机负载均衡，以下集群间会有大概 10:1 的流量分布。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" weight="100"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" weight="10"/>

  • 同 zone 优先：根据 Invocation 中带的流量参数或者在当前节点通过 context 上下文设置的参数，流量会被精确的引导到对应的集群。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" zone="one"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" zone="two"/>

    RpcContext.getContext().setAttachment("registry_zone", "one");

在这里，我们采用默认的随机策略，因为在随机的过程中会有可用性检查，这确保了我们的消费者服务始终能够连接到可用的提供者服务，为我们不停机迁移提供了基础。

接下来，我们需要对代码进行修改，具体操作如下：

  • dubbo.xml：

    • 删除以下部分：

      <!-- zookeeper注册中心 -->
<dubbo:registry address="${dubbox.registry.address}"/>

    • 新增以下部分：

      <!-- 老zookeeper注册中心 -->
<dubbo:registry id="oldZkRegistry" address="${dubbox.registry.address}"/>
<!-- 新k8s上zk注册中心 -->
<dubbo:registry id="newZkRegistry" address="${dubbox.registry.address.new}"/>

  • 配置文件：在配置文件中，新增以下配置：

    # 新k8s上zk注册中心地址，ip为宿主机的ip，端口为nodeport暴露的client的端口
dubbox.registry.address.new = zookeeper://xx.xx.xx.xx:30000

在经过改造后，我们的服务将同时注册到新的和旧的ZooKeeper上，这就相当于我们搭建了一个ZooKeeper集群。当所有的存量服务都完成改造并成功部署上线后，我们还需要对我们的代码进行进一步的改造。具体的步骤如下：

  • dubbo.xml：

    • 删除以下部分：

      <!-- 老zookeeper注册中心 -->
<dubbo:registry id="oldZkRegistry" address="${dubbox.registry.address}"/>
<!-- 新k8s上zk注册中心 -->
<dubbo:registry id="newZkRegistry" address="${dubbox.registry.address.new}"/>

    • 新增以下部分：

      <!-- 新k8s上zk注册中心 -->
<dubbo:registry address="${dubbox.registry.address.new}"/>

  • 配置文件：在配置文件中，删除以下配置：

    # 老zk注册中心地址
dubbox.registry.address = zookeeper://xx.xx.xx.xx:2181

当我们的存量服务全部经过改造并成功部署上线后，我们的老ZooKeeper才能够进行停机下线。至此，ZooKeeper的平滑替换便顺利完成了。

小结

经过以上的阐述，我们可以明确地认识到，在决定ZooKeeper的部署版本时，我们需要进行深入细致的分析，充分考虑外部环境因素的影响，例如Duboo版本之间的兼容性问题。为了确保ZooKeeper的平稳迁移并维持服务的连续性，我们需要采取一系列策略，如逐步升级、严格的功能测试和版本兼容性检查等。要在生产环境中实现ZooKeeper的平滑迁移并保持服务不间断，这将需要投入大量的时间和精力。因此，在我们正式上线生产环境之前，必须进行详尽的规划，全面预见未来可能出现的情况，以最大程度地避免不必要的麻烦。只有这样，我们才能确保项目的长期稳定运行。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/106914.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

picGo+gitee+typora设置图床

picGo+gitee+typora设置图床

picGogiteetypora设置图床 picGogitee设置图床下载picGo软件安装picGo软件gitee操作在gitee中创建仓库在gitee中配置私人令牌 配置picGo在插件设置中搜索gitee插件并进行下载 TyporapicGo设置Typora 下载Typora进行图像设置 picGogitee设置图床 当我了解picGogitee可以设置图床…
阅读更多...
Vue3 [Day11]

Vue3 [Day11]

Vue3的优势 create-vue搭建Vue3项目 node -v npm init vuelatest npm installVue3项目目录和关键文件 Vetur插件是Vue2的 Volarr插件是Vue3的 main.js import ./assets/main.css// new Vue() 创建一个应用实例 > createApp() // createRouter() createStore() // 将创建实…
阅读更多...
TensorFlow中slim包的具体用法

TensorFlow中slim包的具体用法

TensorFlow中slim包的具体用法 1、训练脚本文件&#xff08;该文件包含数据下载打包、模型训练&#xff0c;模型评估流程&#xff09;3、模型训练1、数据集相关模块&#xff1a;2、设置网络模型模块3、数据预处理模块4、定义损失loss5、定义优化器模块 本次使用的TensorFlow版本…
阅读更多...
【C++】—— C++11之可变参数模板

【C++】—— C++11之可变参数模板

前言&#xff1a; 在C语言中&#xff0c;我们谈论了有关可变参数的相关知识。在C11中引入了一个新特性---即可变参数模板。本期&#xff0c;我们将要介绍的就是有关可变参数模板的相关知识&#xff01;&#xff01;&#xff01; 目录 序言 &#xff08;一&#xff09;可变参…
阅读更多...
0基础学习VR全景平台篇 第90篇：智慧眼-数据统计

0基础学习VR全景平台篇 第90篇：智慧眼-数据统计

【数据统计】是按不同条件去统计整个智慧眼项目中的热点&#xff0c;共包含四大块&#xff0c;分别是数据统计、分类热点、待审核、回收站&#xff0c;下面我们来逐一进行介绍。 1、数据统计 ① 可以按所属分类、场景分组、所属场景、热点类型以及输入热点名去筛选对应的热点&…
阅读更多...
文生图模型之Stable Diffusion

文生图模型之Stable Diffusion

原始文章地址 autoencoder CLIP text encoder tokenizer最大长度为77&#xff08;CLIP训练时所采用的设置&#xff09;&#xff0c;当输入text的tokens数量超过77后&#xff0c;将进行截断&#xff0c;如果不足则进行paddings&#xff0c;这样将保证无论输入任何长度的文本&…
阅读更多...
Kaniko在containerd中无特权快速构建并推送容器镜像

Kaniko在containerd中无特权快速构建并推送容器镜像

目录 一、kaniko是什么 二、kaniko工作原理 三、kanijo工作在Containerd上 基于serverless的考虑&#xff0c;我们选择了kaniko作为镜像打包工具&#xff0c;它是google提供了一种不需要特权就可以构建的docker镜像构建工具。 一、kaniko是什么 kaniko 是一种在容器或 Kube…
阅读更多...
【Linux】进程状态|僵尸进程|孤儿进程

【Linux】进程状态|僵尸进程|孤儿进程

前言 本文继续深入讲解进程内容——进程状态。 一个进程包含有多种状态&#xff0c;有运行状态&#xff0c;阻塞状态&#xff0c;挂起状态&#xff0c;僵尸状态&#xff0c;死亡状态等等&#xff0c;其中&#xff0c;阻塞状态还包含深度睡眠和浅度睡眠状态。 个人主页&#xff…
阅读更多...
Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey

Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey

图像恢复与增强的扩散模型综述 论文链接&#xff1a;https://arxiv.org/abs/2308.09388 项目地址&#xff1a;https://github.com/lixinustc/Awesome-diffusion-model-for-image-processing/ Abstract 图像恢复(IR)一直是低水平视觉领域不可或缺的一项具有挑战性的任务&…
阅读更多...
算法竞赛入门【码蹄集新手村600题】(MT1220-1240）C语言

算法竞赛入门【码蹄集新手村600题】(MT1220-1240）C语言

算法竞赛入门【码蹄集新手村600题】(MT1220-1240&#xff09;C语言 目录MT1221 分数的总和MT1222 等差数列MT1223 N是什么MT1224 棋盘MT1225 复杂分数MT1226 解不等式MT1227 宝宝爬楼梯MT1228 宝宝抢糖果MT1229 搬家公司MT1230 圆周率MT1231圆周率IIMT1232 数字和MT1233 数字之…
阅读更多...
适配器模式实现stack和queue

适配器模式实现stack和queue

适配器模式实现stack和queue 什么是适配器模式&#xff1f;STL标准库中stack和queue的底层结构stack的模拟实现queue的模拟实现 什么是适配器模式&#xff1f; 适配器是一种设计模式(设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结)&#xff…
阅读更多...
时间和日期--Python

时间和日期--Python

1. 时间&#xff1a;time模块 总结&#xff1a;2. datetime模块 相比与time模块&#xff0c;datetime模块的接口更直观、更容易调用 2.1 datetime模块定义的类 &#xff08;1&#xff09;datetime.date:表示日期的类。常用的属性有&#xff1a;year、month、day; &#xff…
阅读更多...
k8s节点pod驱逐、污点标记

k8s节点pod驱逐、污点标记

一、设置污点&#xff0c;禁止pod被调度到节点上 kubectl cordon k8s-node-145 设置完成后&#xff0c;可以看到该节点附带了 SchedulingDisabled 的标记 二、驱逐节点上运行的pod到其他节点 kubectl drain --ignore-daemonsets --delete-emptydir-data k8s-node-145 显示被驱逐…
阅读更多...
抓包相关,抓包学习

抓包相关,抓包学习

检查网络流量 - 提琴手经典 (telerik.com) Headers Reference - Fiddler Classic (telerik.com) 以上是fiddler官方文档 F12要勾选保留日志 不勾选的话跳转到新页面之前页面的日志不会在下方显示 会保留所有抓到的包 如果重定向到别的页面 F12抓包可能看不到响应信息,但是…
阅读更多...
攻防世界-神奇的Modbus

攻防世界-神奇的Modbus

原题 解题思路
阅读更多...
【PHP】PHP开发教程-PHP开发环境安装

【PHP】PHP开发教程-PHP开发环境安装

1、PHP简单介绍 PHP&#xff08;全称&#xff1a;Hypertext Preprocessor&#xff09;是一种广泛使用的开放源代码脚本语言&#xff0c;特别适用于Web开发。它嵌入在HTML中&#xff0c;通过在HTML文档中添加PHP标记和脚本&#xff0c;可以生成动态的、个性化的Web页面。 PHP最…
阅读更多...
Vant 4.6.4发布,增加了一些新功能，并修复了一些bug

Vant 4.6.4发布,增加了一些新功能，并修复了一些bug

导读Vant 4.6.4发布,增加了一些新功能&#xff0c;并修复了一些bug等。 新功能 feat(area-data): 更新芜湖的县区数据&#xff0c;由 nivin-studio 在 #12122 中贡献feat(Locale): 添加塞尔维亚语到国际化&#xff0c;由 RogerZXY 在 #12145 中贡献feat(ImagePreview): 添加 c…
阅读更多...
百望云华为云共建零售数字化新生态 聚焦数智新消费升级

百望云华为云共建零售数字化新生态 聚焦数智新消费升级

零售业是一个充满活力和创新的行业&#xff0c;但也是当前面临很大新挑战和新机遇的行业。数智新消费时代&#xff0c;数字化转型已经成为零售企业必须面对的重要课题。 8 月 20 日-21日&#xff0c;以“云上创新 韧性增长”为主题的华为云数智新消费创新峰会2023在成都隆重召…
阅读更多...
Redis从基础到进阶篇（二）----内存模型与内存优化

Redis从基础到进阶篇（二）----内存模型与内存优化

目录 一、缓存通识 1.1 ⽆处不在的缓存 1.2 多级缓存 &#xff08;重点&#xff09; 二、Redis简介 2.1 什么是Redis 2.2 Redis的应用场景 三、Redis数据存储的细节 3.1 Redis数据类型 3.2 内存结构 3.3 内存分配器 3.4 redisObject 3.4.1 type 3.4.2 encoding 3…
阅读更多...
微积分基本概念

微积分基本概念

微分 函数的微分是指对函数的局部变化的一种线性描述。微分可以近似地描述当函数自变量的取值作足够小的改变时&#xff0c;函数的值是怎样改变的。。对于函数 y f ( x ) y f(x) yf(x) 的微分记作&#xff1a; d y f ′ ( x ) d x d_y f^{}(x)d_x dy​f′(x)dx​ 微分和…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023