etcd入门到实战

概述：本文将介绍etcd特性、使用场景、基本原理以及Linux环境下的实战操作

入门

什么是etcd？

etcd是一个分布式键值存储数据库

关键字解析：

  • 键值存储：存储协议是 key—value 的形式，类似于redis
  • 分布式：具有分布式特性、每个etcd实例作为集群中的一个节点，通过分布式锁， leader选举保障可靠的分布式协同
  • 数据库：持久化存储、与redis的主内存存储不同，etcd主持久化到磁盘，同MySQL

etcd的特性

1.强一致性，通过Raft共识算法保证集群中各节点数据的一致性，这是etcd最重要特点

2.全量复制，集群中每个节点拥有全量数据，这也是强一致性的体现

3.数据结构仅支持字符串格式

4.性能，单节点支持1000次/秒 写操作，2000次/秒 读操作（远低于redis的10w+8w）

使用场景

从etcd的性能指标发现，单从性能考虑，etcd远不如redis，那么etcd有什么过人之处呢？

1.服务注册与服务发现

在一些由多服务模块组成的大型项目中，例如即时通讯项目，一般有login_server，msg_server，route_server，file_server等各个分工不同的server，这些server之间有互相连接通信的需求，而连接就需要获知对方的ip+port，如何获知呢？

a.第一种方式是把所有server的地址写在配置文件中，也就是写死在代码中的方式

b.将所有server的地址保存在另一个server中，也就是加一层注册中心，支持动态删减

而etcd正适合作为服务的注册和发现中心，etcd的各个节点保证的强一致性可以确保在访问不同节点时，得到的同一份数据是完全相同的，这对服务间的协同是必要的

2.分布式选主

etcd通过部署多个节点组成集群，集群中分为一个leader和剩下的follower。来自客户端的写请求全部由leader节点处理，读请求全部由follower节点处理。不管是leader还是follower节点都会有失效的情况，也就是服务挂掉了。

  • 如何获知节点挂掉了？

    leader节点会定时向所有follower节点发生心跳，表明自己还在工作，而follower节点则会响应心跳，表明自己也尚存活，任有一方长时间没有得到对方的相应，则认为对方失效

Leader 节点失效时的行为

如果集群的 Leader 节点失效，etcd 的行为如下：

3.1 Leader 检测失效
  • 当集群中的 Follower 节点未能在规定时间（称为 election timeout）内收到 Leader 的心跳时，认为 Leader 失效，开始进入 选举阶段。
3.2 选举新 Leader
  • 在选举阶段，所有 Follower 节点会随机等待一段时间（称为随机延迟），之后尝试成为新 Leader，这一过程称为 候选人状态。
  • 候选人会向其他节点发送投票请求（RequestVote），询问它们是否同意将自己选为新 Leader。
  • 当某个候选人得到集群中大多数节点（即 Quorum，N/2 + 1）的投票支持后，它会成为新的 Leader。
  • 成为 Leader 后，它会开始向其他节点发送心跳，并继续接管客户端的写请求。
3.3 数据一致性保障
  • 选举过程中，etcd 使用 Raft 的一致性协议确保所有节点的日志保持一致。只有当候选人确认自己拥有最新的日志记录时，才能成为新的 Leader。
  • 这避免了一个拥有落后数据的节点被选为 Leader，从而导致数据不一致的问题。
3.4 Leader 重新恢复
  • 如果失效的 Leader 节点重新上线，它会以 Follower 的身份重新加入集群，不会自动恢复成 Leader。新 Leader 会通过日志复制的方式将其与集群的最新数据同步。

Follower 节点失效时的行为

如果 Follower 节点失效，etcd 集群的行为如下：

4.1 失效 Follower 检测
  • Leader 通过心跳和日志同步来检测 Follower 是否失效。如果 Leader 发现某个 Follower 不响应，它会将该节点标记为不健康，并停止向该节点发送日志更新。
4.2 失效 Follower 不影响集群可用性
  • etcd 集群依赖 Quorum（大多数派）来保持正常运行，因此只要集群中有足够多的节点（N/2 + 1）在线，失效的 Follower 节点不会影响整个系统的可用性。
  • 举例来说，如果集群有 5 个节点，允许最多 2 个节点失效，集群依然能正常工作。
4.3 失效 Follower 恢复后

  • 一旦失效的 Follower 恢复，它会重新加入集群，并通过与 Leader 进行数据同步，获取最新的日志条目。Leader 会将它在失效期间未接收到的日志记录发送给它，确保其数据与其他节点一致。

  • 这个过程通常是透明的，客户端不会感知到。

3.读多写少的场景

etcd不同于redis的高性能，大量写操作会导致响应速度降低

Linux环境下 etcd实战

为了演示etcd的集群环境，本文使用docker部署etcd集群

环境：Ubuntu22.04

1.拉取etcd镜像

docker pull quay.io/coreos/etcd:v3.5.7

2.编写配置文件

存放路径：/home/w/conf/etcd

第一个节点 etcd0.yaml
# 节点名称
name: "etcdnode0"
# 数据存储目录
data-dir: "/etcd-data/data"
# 预写式日志存储目录
wal-dir: "/etcd-data/wal"
# 集群成员之间通讯使用URL
listen-peer-urls: "http://0.0.0.0:2380"
# 集群提供给外部客户端访问的URL，即外部客户端必须通过指定的IP加端口访问etcd
listen-client-urls: "http://0.0.0.0:2379"
#集群配置
initial-advertise-peer-urls: "http://192.168.62.128:2380"
# 集群初始成员配置，是etcd静态部署的核心初始化配置，它说明了当前集群由哪些URLs组成,此处default为节点名称
initial-cluster: "etcdnode0=http://192.168.62.128:2380,etcdnode1=http://192.168.62.128:12380,etcdnode2=http://192.168.62.128:22380"
# 初始化集群状态（new 或 existing）
initial-cluster-state: "new"
# 引导期间etcd集群的初始集群令牌,防止不同集群之间产生交互
initial-cluster-token: "etcd-cluster"
# 向客户端发布的服务端点
advertise-client-urls: "http://192.168.62.128:2379"
logger: "zap"
# 配置日志级别,仅支持 debug, info, warn, error, panic, or fatal
log-level: "warn"
log-outputs:
- "stderr"
第二个节点 etcd1.yaml
# 节点名称
name: "etcdnode1"
# 数据存储目录
data-dir: "/etcd-data/data"
# 预写式日志存储目录
wal-dir: "/etcd-data/wal"
# 集群成员之间通讯使用URL
listen-peer-urls: "http://0.0.0.0:12380"
# 集群提供给外部客户端访问的URL，即外部客户端必须通过指定的IP加端口访问etcd
listen-client-urls: "http://0.0.0.0:12379"
#集群配置
initial-advertise-peer-urls: "http://192.168.62.128:12380"
# 集群初始成员配置，是etcd静态部署的核心初始化配置，它说明了当前集群由哪些URLs组成,此处default为节点名称
initial-cluster: "etcdnode0=http://192.168.62.128:2380,etcdnode1=http://192.168.62.128:12380,etcdnode2=http://192.168.62.128:22380"
# 初始化集群状态（new 或 existing）
initial-cluster-state: "new"
# 引导期间etcd集群的初始集群令牌,防止不同集群之间产生交互
initial-cluster-token: "etcd-cluster"
# 向客户端发布的服务端点
advertise-client-urls: "http://192.168.62.128:12379"
logger: "zap"
# 配置日志级别,仅支持 debug, info, warn, error, panic, or fatal
log-level: "warn"
log-outputs:
- "stderr"
第三个节点 etcd2.yaml
# 节点名称
name: "etcdnode2"
# 数据存储目录
data-dir: "/etcd-data/data"
# 预写式日志存储目录
wal-dir: "/etcd-data/wal"
# 集群成员之间通讯使用URL
listen-peer-urls: "http://0.0.0.0:22380"
# 集群提供给外部客户端访问的URL，即外部客户端必须通过指定的IP加端口访问etcd
listen-client-urls: "http://0.0.0.0:22379"
#集群配置
initial-advertise-peer-urls: "http://192.168.62.128:22380"
# 集群初始成员配置，是etcd静态部署的核心初始化配置，它说明了当前集群由哪些URLs组成,此处default为节点名称
initial-cluster: "etcdnode0=http://192.168.62.128:2380,etcdnode1=http://192.168.62.128:12380,etcdnode2=http://192.168.62.128:22380"
# 初始化集群状态（new 或 existing）
initial-cluster-state: "new"
# 引导期间etcd集群的初始集群令牌,防止不同集群之间产生交互
initial-cluster-token: "etcd-cluster"
# 向客户端发布的服务端点
advertise-client-urls: "http://192.168.62.128:22379"
logger: "zap"
# 配置日志级别,仅支持 debug, info, warn, error, panic, or fatal
log-level: "warn"
log-outputs:
- "stderr"

3.创建并运行容器

！先关闭防火墙

sudo ufw disable

分别执行以下三条命令

#etcd0:
docker run -d -p 2379:2379 -p 2380:2380 \-v /home/w/conf/etcd:/etcd-conf \-v /tmp/etcd0-data:/etcd-data \--name etcd0 \quay.io/coreos/etcd:v3.5.7 \/usr/local/bin/etcd --config-file=/etcd-conf/etcd0.yaml#etcd1:
docker run -d -p 12379:12379 -p 12380:12380 \-v /home/w/conf/etcd:/etcd-conf \-v /tmp/etcd1-data:/etcd-data \--name etcd1 \quay.io/coreos/etcd:v3.5.7 \/usr/local/bin/etcd --config-file=/etcd-conf/etcd1.yaml#etcd2
docker run -d -p 22379:22379 -p 22380:22380 \-v /home/w/conf/etcd:/etcd-conf \-v /tmp/etcd2-data:/etcd-data \--name etcd2 \quay.io/coreos/etcd:v3.5.7 \/usr/local/bin/etcd --config-file=/etcd-conf/etcd2.yaml
检查节点运行状态
docker exec etcd0 /usr/local/bin/etcdctl endpoint health --cluster -w table
检查集群运行状态
docker exec etcd0 /usr/local/bin/etcdctl endpoint status --cluster -w table

4.操作etcd

1.添加一个key

docker exec etcd0 /usr/local/bin/etcdctl put key1 value1

2.获取一个key-value

docker exec etcd0 /usr/local/bin/etcdctl get key1

3.获取所有key-value

docker exec etcd0 /usr/local/bin/etcdctl get "" --prefix

4.删除一个key

docker exec etcd0 /usr/local/bin/etcdctl del key1

由于etcd集群各节点间数据完全同步，因此，在一个节点上的put操作可以在另一个节点上看到结果，此外，由于leader节点负责写操作，所以在follower节点上的写操作会被重定向到leader节点进行操作

点击获取更多Linux C/C++开发学习资料

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/454642.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深度解析RLS（Recursive Least Squares）算法

深度解析RLS（Recursive Least Squares）算法

目录 一、引言二、RLS算法的基本思想三、RLS算法的数学推导四、RLS算法的特点五、RLS算法的应用场景六、RLS算法的局限性七、总结 一、引言 在自适应滤波领域，LMS（Least Mean Squares）算法因其计算简单、实现方便而广受欢迎。然而&#xff0…
阅读更多...
【leetcode|哈希表、动态规划】最长连续序列、最大子数组和

【leetcode|哈希表、动态规划】最长连续序列、最大子数组和

目录 最长连续序列 解法一：暴力枚举 复杂度 解法二：优化解法一省去二层循环中不必要的遍历 复杂度 最大子数组和 解法一：暴力枚举 复杂度 解法二：贪心 复杂度 解法三：动态规划 复杂度 最长连续序列 输入输…
阅读更多...
【数据结构与算法】时间、空间复杂度详解

【数据结构与算法】时间、空间复杂度详解

大家有没有遇到过，为什么有些程序跑得飞快，而有些程序却慢得让人抓狂？我们可能都是这样认为的：他写的程序效率高等等，确实如此。但这背后隐藏着两个重要的概念：时间复杂度和空间复杂度。它们就像程序的“效…
阅读更多...
算法题总结（十九）——图论

算法题总结（十九）——图论

图论 DFS框架 void dfs(参数) { if (终止条件) {存放结果;return; }for (选择：本节点所连接的其他节点) {处理节点;dfs(图，选择的节点); // 递归回溯，撤销处理结果 } }深搜三部曲 确认递归函数，参数确认终止条件处理目前搜索节…
阅读更多...
Windows系统启动MongoDB报错无法连接服务器

Windows系统启动MongoDB报错无法连接服务器

文章目录 发现问题解决办法 发现问题 1）、先是发现执行 mongo 命令，启动报错： error: MongoNetworkError: connect ECONNREFUSED 127.0.0.1:27017； 2）、再检查 MongoDB 进程 tasklist | findstr mongo 发现没有进程&a…
阅读更多...
爬虫基础--requests模块

爬虫基础--requests模块

1、requests模块的认识 requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客 2、爬取数据 这里我们以b站动漫追番人数为例。 首先进去b站官网 鼠标右键点击检查或者键盘的F12，进入开发者模式。（这里我使用的是谷歌浏览器为例&#…
阅读更多...
【JVM】—深入理解G1回收器—回收过程详解

【JVM】—深入理解G1回收器—回收过程详解

深入理解G1回收器—回收过程详解 ⭐⭐⭐⭐⭐⭐ Github主页👉https://github.com/A-BigTree 笔记链接👉https://github.com/A-BigTree/Code_Learning ⭐⭐⭐⭐⭐⭐ 如果可以，麻烦各位看官顺手点个star~😊 文章目录 深入理解G1回收…
阅读更多...
基于PERL语言的MS中CASTEP模块批量提交计算脚本

基于PERL语言的MS中CASTEP模块批量提交计算脚本

在现代科学研究中，高效的计算工具对于推动科研进步具有不可估量的价值。为了满足广大科研工作者在材料科学、化学、物理等领域日益增长的计算需求，我们特别推出了一款基于Perl语言的MS CASTEP模块批量提交计算脚本。 一、批量提交，高效处理 …
阅读更多...
Vulnhub打靶-Empire-LupinOne

Vulnhub打靶-Empire-LupinOne

基本信息 靶机下载：https://download.vulnhub.com/empire/01-Empire-Lupin-One.zip 攻击机器：192.168.20.128（Windows操作系统）& 192.168.20.138（kali） 提示信息： 这个盒子被创建为中等…
阅读更多...
RNN，LSTM，GRU的区别和联系? RNN的梯度消失问题？如何解决？

RNN，LSTM，GRU的区别和联系? RNN的梯度消失问题？如何解决？

RNN，LSTM，GRU的区别和联系? RNN（Recurrent Neural Network）、LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）都是用于处理序列数据的神经网络模型，它们之间…
阅读更多...
《黑神话悟空》各章节boss顺序汇总

《黑神话悟空》各章节boss顺序汇总

第一章BOSS顺序： 1、牯护院：犀牛精，位于苍狼岭娟，击败后能获得定身术。 2、广智：火刀狼， 位于观音禅院，击败后获得广智变身，记得敲钟。 3、蓝皮幽魂：蓝皮大头&#xff0…
阅读更多...
间充质干细胞疗法迎来快速发展：国内新药申请超93项，全球临床试验超1300项

间充质干细胞疗法迎来快速发展：国内新药申请超93项，全球临床试验超1300项

间充质干细胞（Mesenchymal Stem Cells, MSCs）独一无二的特性和机制构建了非凡的治疗前景和成药空间。截止到2024年10月18日，临床试验注册库clinicaltrials.gov网站上有关“Mesenchymal Stem Cell”的项目有1303项。在国家药品监督管理局药品审…
阅读更多...
Active Directory(活动目录)密码审核工具

Active Directory(活动目录)密码审核工具

什么是Active Directory密码审核 Active Directory密码审核涉及监控用户密码的状态及其身份验证尝试，以便 IT 管理员收到有关弱 Active Directory密码或任何异常身份验证行为的通知。 Active Directory密码审核可帮助管理员评估用户密码的强度并采取必要措施来加强…
阅读更多...
Composio：AI 开发利器，集成 100+ 工具，简化智能体构建

Composio：AI 开发利器，集成 100+ 工具，简化智能体构建

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！ 微信公众号｜搜一搜&…
阅读更多...
SimpleLive 1.7.3 | TV+手机，聚合抖B虎鱼四大直播

SimpleLive 1.7.3 | TV+手机，聚合抖B虎鱼四大直播

SimpleLive是一款聚合多个直播平台的应用程序，内置虎牙、斗鱼、哔哩哔哩及抖音直播，提供无广告体验，支持弹幕显示调整、夜间模式切换等功能，无需登录即可关注不同平台主播并查看其直播状态。下载安装APK后打开应用，选择…
阅读更多...
Web Service

Web Service

目录 1、概览2、SOA架构2.1 Web Service的基础协议2.2 Web Service协议栈 3 Web Service的分类3.1 应用领域3.2 服务器类型 4 厂商支持4.1 Java EE4.2 .NET4.3 WebSphere 5 其他5.1 微服务与 Web Service5.1.1 微服务与 Web 服务之间的区别5.1.2 微服务、 Web 服务的最佳实践 5…
阅读更多...
laravel 查询数据库

laravel 查询数据库

数据库准备 插入 三行 不同的数据 自行搭建 laravel 工程 参考 工程创建点击此处 laravel 配置 数据库信息 DB_CONNECTIONmysql #连接什么数据库 DB_HOST127.0.0.1 # 连接 哪个电脑的 ip （决定 电脑 本机） DB_PORT3306 # 端口 DB_DATABASEyanyu…
阅读更多...
FloodFill 算法（DFS）

FloodFill 算法（DFS）

文章目录 FloodFill 算法（DFS）图像渲染岛屿数量岛屿的最大面积被围绕的区域太平洋大西洋水流问题扫雷游戏衣橱整理 FloodFill 算法（DFS） 漫水填充(Flood Fi)算法是一种图像处理算法，在计算机图形学和计算机视觉中被广泛…
阅读更多...
超详细的 Stable Diffusion Webui入门教程（二）基础操作

超详细的 Stable Diffusion Webui入门教程（二）基础操作

前言 工欲善其事，必先利其器！今天我们聊聊 Stable Diffusion WebUI 的基础操作以及各个参数都代表了什么。 所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~ 一、大模型的切换 在 Stable D…
阅读更多...
【从零开始的LeetCode-算法】3185. 构成整天的下标对数目 II

【从零开始的LeetCode-算法】3185. 构成整天的下标对数目 II

给你一个整数数组 hours&#xff0c;表示以 小时 为单位的时间&#xff0c;返回一个整数&#xff0c;表示满足 i < j 且 hours[i] hours[j] 构成 整天 的下标对 i, j 的数目。 整天 定义为时间持续时间是 24 小时的 整数倍 。 例如&#xff0c;1 天是 24 小时&#xff0c…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023