Day44-sersync企业实时复制实战

Day44-sersync企业实时复制实战

  • 1. sersync实时复制工具介绍
    • 1.1 sersync工具简介
    • 1.2 sersync特点
    • 1.3 sersync图解原理
    • 1.4 sersync+rsync实时复制方案项目实践
      • 1.4.1 图解项目方案架构及实现原理
      • 1.4.2 确保远程数据传输服务部署完成
      • 1.4.3 检查当前系统nfs01是否支持inotify实时监控
      • 1.4.4 在nfs01安装配置sersync
      • 1.4.5 解压配置
      • 1.4.6 配置文件讲解及修改配置
      • 1.4.7 启动sersync
      • 1.4.8 配置:systemctl start sersync启动方案
  • 2. 企业案例
    • 2.1 问题一
    • 2.2 大型企业级高并发文件实时复制方案
    • 2.3 企业级解决 NFS 存储实时复制案例
    • 2.4 更多网站后端存储解决方案
  • 3. rsync多实例

1. sersync实时复制工具介绍

1.1 sersync工具简介

Sersync项目利用inotify与rsync技术实现对服务器数据实时复制的解决方案,其中inotify用于监控sersync所在服务器上文件系统的事件变化,当事件发生变化时就调用rsync命令将变化的数据复制到远端服务器上。

1.2 sersync特点

sersync项目特点是:

  • 使用c++编写,支持对监控的事件过滤功能。
  • sersync采用xml配置文件,然后由守护进程启动,配置起来比inotify-tools更简单。
  • 使用多线程进行复制,即可以并发复制多个不同文件。
  • sersync自带出错处理机制,通过失败队列对出错的文件重新复制。
  • sersync自带crontab功能,可实现对失败队列中的文件定时整体复制。
  • sersync自带socket与http的协议扩展,可以满足有特殊需求的公司二次开发。

1.3 sersync图解原理

在这里插入图片描述

如上图所示:
1、inotify监控指定目录对应事件的变化,当有事件变化时进入事件过滤队列。

2、过滤队列负责过滤不需要复制的数据,也可以过滤短时间内产生的重复inotify事件信息,过滤过的事件触发rsync对变化数据执行复制。

3、图中线程组线程是等待线程队列的守护线程,当事件队列中有事件产生的时候,线程组守护线程就会逐个唤醒复制线程,当队列中inotify事件较多的时候,复制线程就会被全部唤醒一起工作提升复制的效率。

4、除了线程组线程外,还有sersync服务线程,负责处理复制失败的文件,将他们再次复制,对于再次复制失败的文件(命令)记录到rsync_fail_log.sh 脚本,然后定期在执行脚本,同时利用自带的cron功能,实现每隔一定时间,将所有未复制的数据在进行整体复制。

1.4 sersync+rsync实时复制方案项目实践

1.4.1 图解项目方案架构及实现原理

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.4.2 确保远程数据传输服务部署完成

大前提rsyncdaemon服务配置成功,可以在rsync客户端推送拉取数据,然后才能配置inotify服务。

确保已经配置好rsync服务,并且能在客户端推送和拉取数据信息:

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.3 检查当前系统nfs01是否支持inotify实时监控

通过检查/proc/sys/fs/inotify目中是否存在以下三个文件,可以确认系统是否支持实时监控程序。

[root@nfs01 ~]# uname -r
3.10.0-957.1.3.el7.x86_64  #<==内核是3.10,支持inotify机制。
[root@nfs01 ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_queued_events
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_instances
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_watches

1.4.4 在nfs01安装配置sersync

mkdir /server/tools
cd /server/tools
wget https://github.com/wsgzao/sersync/blob/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

1.4.5 解压配置

[root@nfs01 tools]# tar xf sersync_oldboy_64bit_20160928.tar.gz 
sersync_oldboy_64bit_20160928.tar.gz
[root@nfs01 tools]# tree application/
application/
└── sersync├── bin│   └── sersync├── conf│   ├── confxml.xml│   └── confxml.xml.ori├── logs│   └── rsync_fail_log.sh└── readme.txt
[root@nfs01 tools]# mv application /
[root@nfs01 tools]# tree /application/
/application/
└── sersync├── bin│   └── sersync├── conf│   ├── confxml.xml│   └── confxml.xml.ori├── logs│   └── rsync_fail_log.sh└── readme.txt4 directories, 5 files

1.4.6 配置文件讲解及修改配置

请对比新老配置查看修改的内容

sersync配置文件:干两件事:
1)完成监控配置:

inotifywait -mrq -e createFolder,close_write,delete,moveFrom,moveTo /data

2)完整命令拼接:

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.7 启动sersync

[root@nfs01 /application/sersync/conf]# ../bin/sersync -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________[root@nfs01 conf]# echo 50000000 > /proc/sys/fs/inotify/max_user_watches
[root@nfs01 conf]# echo 327679 > /proc/sys/fs/inotify/max_queued_events[root@nfs01 conf]# /application/sersync/bin/sersync -r -o /application/sersync/conf/confxml.xml -dcd /data && rsync -artuz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 [root@nfs01 ~]# pstree -a -p 1918
sersync,1918 -r -o /application/sersync/conf/confxml.xml -d├─{sersync},1924├─{sersync},1925├─{sersync},1926├─{sersync},1927├─{sersync},1928├─{sersync},1929├─{sersync},1930├─{sersync},1931├─{sersync},1932├─{sersync},1933└─{sersync},1934#同步过程
rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5764   5760  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5765   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5766   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5767   5765  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5768   5766  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5771   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5772   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5773   5771  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5774   5772  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5778   2254  0 11:00 pts/0    00:00:00 grep --color=auto sync
root       5779   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=1

最终

/application/sersync/bin/sersync -d
pkill sersync

二进制程序,不是yum安装的,所以不能systemctl start sersync

1.4.8 配置:systemctl start sersync启动方案

https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# tail -1 /etc/rc.local
/application/sersync/bin/sersync -d

配置:systemctl start sersync启动方案
https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconf
# ig: 2345 21 81
# description: rsync service start and stop scripts
# Author: oldboy
# Organization: www.oldboyedu.comstart(){/application/sersync/bin/sersync -d -o /application/sersync/conf/confxml.xml &>/dev/null
}
stop(){killall sersync 2>/dev/null
}
case "$1" instart)start;;stop)stop;;restart)stopsleep 2start;;*)echo $"Usage:$0 {start|stop|restart}"exit 1
esac

练习脚本启动:

chmod +x /etc/rc.d/init.d/sersync/etc/init.d/sersync stop
ps -ef|grep sync/etc/init.d/sersync start
ps -ef|grep sync

写一个启动脚本:使用service sersyc start/stop启动停止。
解答:

/etc/init.d/sersync start
/etc/init.d/sersync stop[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconfig: 2345 21 81   ###实现开机启动顺序以及在哪些级别上开机启动。
# description: rsync service start and stop scriptsservice sersync stop/start

C7:

[root@nfs01 /data]# cat /usr/lib/systemd/system/sersync.service
[Unit]
Description=sersyncd service
After=network.target[Service]
Type=forking           
ExecStart=/etc/rc.d/init.d/sersync start   
ExecReload=/etc/rc.d/init.d/sersync restart
ExecStop=/etc/rc.d/init.d/sersync stop     
PrivateTmp=true[Install]
WantedBy=multi-user.targetchmod +x /usr/lib/systemd/system/sersync.service[root@nfs01 /data]# systemctl enable sersync.service
Created symlink from /etc/systemd/system/multi-user.target.wants/sersync.service to /usr/lib/systemd/system/sersync.service.[root@nfs01 /data]# systemctl status sersync.service
● sersync.service - sersyncd serviceLoaded: loaded (/usr/lib/systemd/system/sersync.service; enabled; vendor preset: disabled)Active: inactive (dead)[root@nfs01 /data]# systemctl stop sersync
[root@nfs01 /data]# ps -ef|grep sersync|grep -v grep
[root@nfs01 /data]# systemctl start sersync

2. 企业案例

2.1 问题一

挂载的盘有将近24t,里面有200G数据,都是tomcat用到的数据,nfs服务器磁盘容量是24t,tomcat服务器里面跑着4个tomcat服务,他们昨天通过jenkins部署代码,控制台输出信息是超时,在排查时,发现tomcat服务器虽然现实挂载nfs服务器的24t硬盘,但是往里面无法写数据,ls就是夯住没反应,后来是重新挂载才解决的,但是有时候就是莫名其妙的夯住。

分析:

  1. 数据是太大。
  2. 挂载参数有问题。
  3. 网络连接不稳定,
  4. 服务器压力大
  5. 架构错误(站点目录挂载NFS上了),这样不行。

解决办法:

  1. 还用NFS,但要调整架构,例如动静分离、读写分离。
  2. 更换分布式文件系统
  3. 注意CDN的使用,看看命中率,想法提高命中。
  4. 还可以弃用NFS,读取本地方案,

2.2 大型企业级高并发文件实时复制方案

除了本文讲解的数据实时复制方案外,其实,企业运维工作中还有很多的方案,例如:

  1. inotify(sersync)+rsync复制方案是文件级别的复制,优点:简单、易用,缺点:速度不快。
  2. drbd复制方案是文件系统级别复制,基于block块进行复制,优点:速度快,缺点:主节点工作时,备节点数据处于不可使用状态。
  3. 借用第三方软件的复制功能复制文件:例如:mysql复制(主从复制),oracle,mongodb自身的复制工具。
  4. 在业务上开发程序双写不同的服务器,即直接写两台服务器。
  5. 应用服务器写一台,在写日志(消息队列),利用异步方式复制。

对于复制延迟的问题,可以利用产品业务逻辑解决(例如:读写分离,备读不到读主)。

2.3 企业级解决 NFS 存储实时复制案例

  1. 有些网友觉得NFS性能不高,其实在共享存储时,可以使用读写分离的方案,即用户上传时把文件传到NFS上,这部分写的并发要比读小很多,可能写读比只有 1:20。
  2. 然后借用 inotify(sersync)+rsync方案把NFS上数据实时复制到Web服务器本地(静态服务器)
  3. Web 服务直接读本地的目录实时复制过来的文件,如果本地没有,再去NFS共享上读文件,缓解延迟带来的问题。
  4. 经过实测,inotify(sersync)+rsync方案单进程多线程可以处理并发200个100K左右的文件,而不会延迟,当然还可以开多进程,拆分监控不同的二级目录。

2.4 更多网站后端存储解决方案

  1. 使用CDN加速以及内网搭建文件缓存服务(squid,nginx,varnish)减轻存储压力。
  2. 把多个文件目录分配到不同的NFS服务器上,相当于把NFS服务器拆分多台。
  3. 弃用NFS方案
  4. 使用分布式文件系统(例如:FastDFS、Mfs)

3. rsync多实例

rsync --config=/etc/rsyncd01.conf --daemon  #用于nfs实时复制
rsync --config=/etc/rsyncd02.conf --daemon  #用于定时备份

通过指定配置文件参数

--config=FILE           specify alternate rsyncd.conf file

建议:不推荐
最佳方法:把www uid和rsync一样。

[root@backup ~]# cat /etc/rsyncd.conf
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync
gid = rsync
use chroot = no
fake  super  = yes
max connections = 200
timeout = 600 
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = true
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = 所有服务器定时任务备份
path = /backup/[data]
uid = www
gid = www
comment = 存储NFS实时复制数据
path = /data/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/277043.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

008:安装Docker

安装Docker 如果不太熟悉Linux命令&#xff0c;不想学习Linux命令&#xff0c;可以直接看文末NAS面板章节&#xff0c;通过面板&#xff0c;像使用Window一样操作NAS。 一、安装 Docker 1.安装 Docker wget -qO- https://get.docker.com/ | sh2.启动 Docker 服务 sudo sys…

qt vs 编程 字符编码 程序从源码到编译到显示过程中存在的字符编码及隐藏的字符编码转换

理解字符编码&#xff0c;请参考&#xff1a;unicode ucs2 utf16 utf8 ansi GBK GB2312 CSDN博客 了解windows字符显示必须了解locale概念 参考&#xff1a;揭密 Windows 上的各种 locale - 知乎 汉字&#xff08;或者说多字节字符&#xff09;的存放需求&#xff0c;是计算…

K8S CNI

OCI概念 OCI&#xff0c;Open Container Initiative&#xff0c;开放容器标准&#xff0c;是一个轻量级&#xff0c;开放的治理结构&#xff08;项目&#xff09;&#xff0c;在 Linux 基金会的支持下成立&#xff0c;致力于围绕容器格式和运行时创建开放的行业标准。 OCI 项目…

AI智慧校园电子班牌云平台源码

目录 家长端 学校端 电子围栏 亲情通话 课堂答题 移动化管理模式 统一资源管理平台 模板内容智能更换 家校互联 家长端 多场景通话:上学放学联系、紧急遇险求助联系、日常亲情通话关注孩子人身安全:到校离校情况、进入危险区域预警等。 学校端 课堂秩序管理:提高教…

深入浅出:Objective-C中使用MWFeedParser下载豆瓣RSS

摘要 本文旨在介绍如何在Objective-C中使用MWFeedParser库下载豆瓣RSS内容&#xff0c;同时展示如何通过爬虫代理IP技术和多线程提高爬虫的效率和安全性。 背景 随着信息量的激增&#xff0c;爬虫技术成为了获取和处理大量网络数据的重要手段。Objective-C作为一种成熟的编程…

3D地图在BI大屏中的应用实践

前言 随着商业智能的不断发展&#xff0c;数据可视化已成为一项重要工具&#xff0c;有助于用户更好地理解数据和分析结果。其中&#xff0c;3D地图作为一种可视化工具&#xff0c;已经在BI大屏中得到了广泛地应用。 3D地图通过将地理信息与数据相结合&#xff0c;以更加直观…

工具-百度云盘服务-身份认证

目标 通过百度网盘API的方式去获取网盘中的文件&#xff0c;要实现这的第一步就是需要获取网盘的权限。资料(参考) 如果期望应用访问用户的网盘文件&#xff0c;则需要经过用户同意&#xff0c;这个流程被称为“授权”。百度网盘开放平台基于 OAuth2.0 接入授权。OAuth2.0 是…

嵌入式学习第二十七天!(TCP并发模型)

TCP并发模型&#xff1a; 1. TCP多线程模型&#xff1a; 缺点&#xff1a;创建线程会带来资源开销&#xff0c;能够实现的并发量比较有限。 2. IO模型&#xff1a; 1. 阻塞IO&#xff1a; 没有数据到来时&#xff0c;可以让任务挂起&#xff0c;节省CPU资源开销&#xff0c;提…

物理隔离条件下,如何安全高效地进行内外网文件导入导出?

内外网文件导入导出通常指的是在内部网络&#xff08;内网&#xff09;和外部网络&#xff08;外网&#xff09;之间传输文件的过程。这在企业环境中尤其常见&#xff0c;因为内部网络通常包含敏感数据&#xff0c;而外部网络&#xff08;如互联网&#xff09;则允许更广泛的访…

Apache zookeeper kafka 开启SASL安全认证

背景&#xff1a;我之前安装的kafka没有开启安全鉴权&#xff0c;在没有任何凭证的情况下都可以访问kafka。搜了一圈资料&#xff0c;发现有关于sasl、acl相关的&#xff0c;准备试试。 简介 Kafka是一个高吞吐量、分布式的发布-订阅消息系统。Kafka核心模块使用Scala语言开发…

MySql入门教程--MySQL数据库基础操作

꒰˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好&#xff0c;我是xiaoxie.希望你看完之后,有不足之处请多多谅解&#xff0c;让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN …

k8s的pod和svc相互访问时网络链路解析

k8s的pod和svc相互访问时网络链路解析 1. k8s环境中pod相互访问1.1. k8s中pod相互访问的整体流程1.2. k8s的相同机器的不同pod相互访问1.3. k8s的不同机器的不同pod相互访问 2. k8s访问svc2.1 nat操作2.2 流量进入到后端pod 3. 疑问和思考3.1 访问pod相互访问为什么不用做nat?…

【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库

InternLM 模型部署 准备环境 拷贝环境 /root/share/install_conda_env_internlm_base.sh InternLM 激活环境 conda activate InternLM 安装依赖 # 升级pip python -m pip install --upgrade pippip install modelscope1.9.5 pip install transformers4.35.2 pip install…

数据结构之单链表

目录 1.问题引入 2.主题介绍 2.1链表的概念和结构 2.2链表的分类 2.3单链表的实现 2.3.1接口实现 2.3.2函数实现 2.3.3函数测试 3.小结 halo&#xff0c;又和大家见面了&#xff0c;今天要给大家分享的是单链表的知识&#xff0c;跟着我的脚步&#xff0c;包学包会哦~ …

中电金信:技术实践|Flink维度表关联方案解析

导语&#xff1a;Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架&#xff0c;主要用来处理流式数据。它既可以处理有界的批量数据集&#xff0c;也可以处理无界的实时流数据&#xff0c;为批处理和流处理提供了统一编程模型。 维度表可以看作是用户来分析数…

人工智能|机器学习——K-means系列聚类算法k-means/ k-modes/ k-prototypes/ ......(划分聚类)

1.k-means聚类 1.1.算法简介 K-Means算法又称K均值算法&#xff0c;属于聚类&#xff08;clustering&#xff09;算法的一种&#xff0c;是应用最广泛的聚类算法之一。所谓聚类&#xff0c;即根据相似性原则&#xff0c;将具有较高相似度的数据对象划分至同一类簇&#xff0c;…

精读《精通 console.log》

1 引言 本周精读的文章是 Mastering JS console.log like a Pro&#xff0c;一起来更全面的认识 console 吧&#xff01; 2 概述 & 精读 console 的功能主要在于控制台打印&#xff0c;它可以打印任何字符、对象、甚至 DOM 元素和系统信息&#xff0c;下面一一介绍。 c…

PSCA电源控制集成之电压和电源域边界

电压域之间的跨越必须是异步的。电源域之间的跨越可以是同步的&#xff0c;也可以是异步的。 在电压域或异步电源域之间的边界处&#xff0c;需要使用域桥来实现所需的协议。 对于电压域之间的边界&#xff0c;或者是异步电源域之间的边界&#xff0c;域桥被分割成两半&#…

基于springboot的七彩云南文化旅游网站的设计与实现(论文+源码)_kaic

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装七彩云南文化旅游网站软件来发挥其高效地信息处理的作用&am…

Linux系列

安装系列 1.MySQL安装 我们要通过rpm&#xff0c;进行MySQL数据库的安装&#xff0c;主要的步骤如下&#xff1a; rpm -qa 查询当前系统中安装的所有软件 rpm -qa | grep mysql 查询当前系统中安装的名称带mysql的软件 rpm -…