文章目录
- 概念简述
- binlog
- Canal
- MySQL配置
- Canal配置
- 创建挂载目录
- 设置权限
- 创建MySQl的Canal账户
- 拉取镜像
- 运行容器
- 简单运行
- 配置文件复制到宿主机
- 修改配置文件
- 删除之前运行的canal容器
- 正式运行Canal容器
- 查看运行状态
- 排查问题
概念简述
binlog
MySQL的二进制日志binlog可以说是MySQL最重要的日志,它记录了所有的DDL和DML语句(除了数据查询语句select),以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。
Canal
译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费
canal可以用来监控数据库数据的变化,从而获得新增数据,或者修改的数据。
canal的工作原理就是把自己伪装成MySQL slave,模拟MySQL slave的交互协议向MySQL Mater发送 dump协议,MySQL mater收到canal发送过来的dump请求,开始推送binary log给canal,然后canal解析binary log,再发送到存储目的地。
MySQL配置
首先docker中需要已安装mysql,且配置文件目录已挂载出来
打开宿主机挂载的mysql配置文件目录
vim my.conf
配置文件中添加以下配置,启用binlog
[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=canal
完成后保存退出
重启docker中的mysql
Canal配置
创建挂载目录
新建/opt/docker/canal/conf目录,稍后我们会放两个配置文件,并挂载
新建/opt/docker/canal/log目录,用于挂载日志文件
mkdir -p /opt/docker/canal/{conf,log}
设置权限
chmod -R 777 /opt/docker/canal/conf
chmod -R 777 /opt/docker/canal/log
创建MySQl的Canal账户
我这里在navicat中直接配置,用户名密码都是canal
create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%' identified by 'canal';
FLUSH PRIVILEGES;
拉取镜像
docker pull canal/canal-admin:v1.1.5
运行容器
简单运行
先简单运行一下,目的是为了获取其中的配置文件
docker run --name canal -d canal/canal-server:v1.1.5
配置文件复制到宿主机
将容器中的两个配置文件复制到我们创建好的conf目录中
docker cp canal:/home/admin/canal-server/conf/canal.properties /opt/docker/canal/conf
docker cp canal:/home/admin/canal-server/conf/example/instance.properties /opt/docker/canal/conf
修改配置文件
修改instance.properties配置文件
第一页长这样,这里我们就修改一下框中的部分,第一个是我们在mysql配置文件中设置的slaveId,下面的是数据库地址,IP:端口号
第二页长这样,同样只需要改框中的部分
上面的是我们之前为canal创建的账号和密码,均为canal
下面的是需要监听的库表,图中就是默认状态,监听全部,可根据实际需求改
删除之前运行的canal容器
暂停canal
docker stop canal
删除canal
docker rm canal
正式运行Canal容器
注意修改mysql地址
docker run -d -it -h 127.0.0.1 -e server.port=8089 \-e canal.adminUser=admin -e canal.adminPasswd=admin \-e spring.datasource.address=mysql地址:3306 \-e spring.datasource.database= canal_manager \-e spring.datasource.username= canal \-e spring.datasource.password= canal \--name=canal-admin -p 8089:8089 \-m 1024m canal/canal-admin:v1.1.5
查看运行状态
docker ps -a
成功
排查问题
进入到创建的挂载日志文件目录log,进入canal目录,里面有两个日志文件
运行遇到问题可查看这些日志排查问题
结束