1 ,zookeeper :概述
1.1,zookeeper:作用
1 ,大数据领域 :存储配置数据
例如:hadoop 的 ha 配置信息,hbase 的配置信息,都存储在 zookeeper
2 ,应用领域 :分布式锁
分布式锁,虽然 zk 也能做,但是更加推荐使用 redis ,更合适。
1.2,zookeeper:开发 - java
java 语言开发的。
1.3,qps :10w
1 ,3 台主机的 zk 集群,qps 可以达到 :10w 左右。
1.4 ,zk 会脑裂吗 :
不会
1.5,推荐 :很好的文章
https://blog.csdn.net/qq_37555071/article/details/114609145?ops_request_misc=%257B%2522request%255Fid%2522%253A%25221EFE1594-87AD-4F31-8393-3111ECF369D5%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=1EFE1594-87AD-4F31-8393-3111ECF369D5&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-114609145-null-null.142^v100^pc_search_result_base4&utm_term=zookeeper%20zxid&spm=1018.2226.3001.4187
2 ,zookeeper :架构
2.1,架构图 :
2.2,leader :主节点
1 ,角色 :
集群的主节点
2 ,作用 :
1 ,处理客户端请求 :读,写。
2 ,服务器内部 :调度者,将写请求,发送给每个系节点。
3 ,事务:保证事务处理的有序性。
2.2,follower :从节点
1 ,角色 :
集群的从节点
2 ,作用 :
1 ,处理客户端请求 :读。
2 ,写请求 :转发给 leader 处理。
3 ,选举:leader 挂了,follower 要参与 leader 选举。
4 ,存储:leader 存储数据的时候,需要每个从节点,根据leader提议,在本地存储数据。
2.3,observer :观察者节点
1 ,角色 :
集群的从节点
2 ,作用 :
1 ,处理客户端请求 :读。
2 ,写请求 :转发给 leader 处理。
3 ,选举:不参与
4 ,同步:从主节点同步数据。
3 ,zookeeper :数据处理
3.1,最终一致性 :
意义 :数据同步不及时,但是最终,数据是一致的。
3.2,获取 :最新数据
1 ,由于 :
zookeeper 的数据更新,不及时。
2 ,client 想获取最新数据,需要在读取数据前,先调用这个接口 :
sync()
3 ,sync() 作用 :
1 ,目的 :client 连接的当前从节点,向 leader 发请求,需要同步最新数据。
2 ,leader 响应 :如果没有心数据,直接返回响应【Leader.SYNC】
如果有新数据,需要处理完最新数据,才返回响应【Leader.SYNC】,从节点收到响应后,将最新数据,返回给 client 。
3.3,数据操作 :写入流程,leader
1 ,leader 接收请求
2 ,leader 发送 proposal 给 follower
3 ,follower 收到请求记录 txlog、snapshot、
4 ,follower 发送 ack 给 leader
5 ,commit :leader 收到 ack 后进行 commit,并且通知所有的【follower,observer】
6 ,leader 返回成功给客户端
3.4,数据操作 :写入流程,follower
1 ,follower 接受请求,解析请求。
2 ,转发 :follower 将写请求转发给 leader
3 ,leader接收请求
4 ,leader 发送 proposal 给 follower
5 ,follower 收到请求记录 txlog、snapshot、
6 ,follower 发送 ack 给 leader
7 ,commit :leader 收到 ack 后进行 commit,并且通知所有的【follower,observer】
8 ,follower 返回成功给客户端。
3.5,数据操作 :写入流程,observer
1 ,observer 接受请求,解析请求。
2 ,转发 :observer 将写请求转发给 leader
3 ,leader接收请求
4 ,leader 发送 proposal 给 follower
5 ,follower 收到请求记录 txlog、snapshot、
6 ,follower 发送 ack 给 leader
7 ,commit :leader 收到 ack 后进行 commit,并且通知所有的【follower,observer】
8 ,observer 返回成功给客户端。
3.6,数据操作 :写入流程,注意
1 ,leader 发送 proprsal 决议 :
只给 follower 发送
3.7,数据存储 :内存 + 磁盘
1 ,内存数据 :
1 ,数据结构 :3 种
DataNode :数据节点,最小单元,存储数据
DataTree :树形结构中的节点,是 map [ path , node ]
临时节点,也是 map [ sessionId , node ]
ZKDataBase :内存数据库,管理所有会话和数据。
定期备份 :定时的将内存数据,同步到磁盘。
zk 重启 :从磁盘恢复数据到内存。
2 ,磁盘数据 :快照
定期快照
3 ,磁盘数据 :日志
每个请求,都会立刻产生日志流水
3.8,快照 :步骤
1 ,目的 :将所有数据,一次性,同步到磁盘
2 ,检查 :每进行一次事务日志记录之后,Zookeeper都会检测当前是否需要进行数据快照。
3 ,快照注意 :尽量避免 Zookeeper 集群中的所有机器在同一时刻进行数据快照。
4 ,快照时机 :
1 ,10w 个事务性日志流水
2 ,事务文件大小 :4g
5 ,异步线程:创建单独的异步线程来进行数据快照以避免影响Zookeeper主流程。
6 ,快照数据文件名:Zookeeper根据当前已经提交的最大ZXID来生成数据快照文件名。
7 ,数据序列化:首先序列化文件头信息,然后再对会话信息和 DataTree 分别进行序列化,同时生成一个Checksum,一并写入快照数据文件中去。
3.9,事务 :zxid
1 ,事务提交流程 :
1 ,初始化:当一个节点收到一个事务请求时,它会将事务请求发送给Leader。
2 ,提交:Leader会将事务请求发送给其他节点,并等待其他节点的确认。
3 ,确认:当其他节点收到事务请求后,它们会对事务进行处理,并将处理结果发送回Leader。
4 ,完成:当Leader收到足够多的确认后,它会将事务提交完成。
2 ,zxid :
1 ,类型 :long
2 ,意义 :每个事务操作,成功后,zxid 自增 1
4 ,zookeeper :数据 - znode
4.1,数据结构 :树形结构
zookeeper 数据存储在树形结构上
4.2,znode :数据节点
1 ,znode 节点 :
存储数据 :例如,abcde
路径 :例如,/a/b/c/d
4.3,znode :数据大小 - 1m
每个 znode ,只能存储最多 1m 数据
4.4,znode :版本号,乐观锁
1 ,znode 数据 :有版本号的
1 ,目的 :乐观锁,防止多线程的误操作
2 ,以下操作 :需要附加版本号
setData:更新znode的数据
delete:删除指定znode
checkExists:检查指定znode是否存在
getChildren:获取指定znode的子节点列表
getData:获取指定 znode 的数据
2 ,乐观锁 :
1 ,效果 :谁先抢到数据的版本号,就让版本号 +1 ,其它线程,版本号不对,操作失败。
2 ,性能 :比悲观锁,快
3 ,为什么快 :尽早发现自己版本号不对,尽早做别的决策
4.4,znode :watcher - 观察者
1 ,可监听的事件 :4 种
节点创建
节点删除
节点数据改变
节点的子节点列表发生变更。
2 ,监听器 :特点
1 ,一次性 :每次注册监听器,只能粗发一次
2 ,触发机制 :回调函数。
3 ,通知顺序 :按照监听器的注册顺序,依次触发。
4 ,修改触发 :版本号,不看数据内容,只看数据版本。
4.5,znode :节点类型
1 ,持久节点(PERSISTENT)
存储 :普通数据
2 ,持久顺序节点(PERSISTENT_SEQUENTIAL)
存储 :序列自增数据
3 ,临时节点(EPHEMERAL)
存储临时,普通数据
4 ,临时顺序节点(EPHEMERAL_SEQUENTIAL)
存储临时,序列自增数据
5 ,zookeeper 应用 :分布式锁
5.1 ,目的 :多线程,保护数据
1 ,例如 :mysql 的某个数据的操作,只能有一个系统访问,但是,有多个系统,都在使用 mysql ,怎么办 ?
2 ,操作步骤 :
1 ,选择路径 :例如 /app/kd/qcs
意义 :将多个线程,创建的节点,都放这里
2 ,创建 :临时顺序节点
意义 :每个线程都创建一个节点,这些节点,序号自增
效果 :/app/kd/qcs/lock_00000001
/app/kd/qcs/lock_00000002
/app/kd/qcs/lock_00000003
3 ,获取锁 :
序列编号最小的,得到锁。
4 ,注册监听 :
其它节点,注册监听事件,监听比他小 1 的节点,消失事件。
5 ,释放锁 :
边界代码【线程安全部分】执行结束,删除临时节点,释放锁。
触发 :watcher 事件,下一个线程,执行监听逻辑。
6 ,下一个线程 :获取锁
检查编号,我是不是最小的,如果是,我开始执行代码。