现场工程师日记-MSYS2迅速部署PostgreSQL主从备份数据库

文章目录

- 一、概要
- 二、整体架构流程
- - 1. 安装 MSYS2 环境
  - 2. 安装postgresql
- 三、技术名词解释
- - 1.MSYS2
  - 2.postgresql
- 四、技术细节
- - 1. 创建主数据库
  - 2.添加从数据库复制权限
  - 3. 按需修改参数
  - - （1）WAL保留空间
    - （2）监听地址
  - 4. 启动主服务器
  - 5. 复制主节点到从节点
  - 6. 启动从节点
- 五、小结与测试

一、概要

目前对于小型的高可用应用，用一主一从两个PostgreSQL实例，基于默认的WAL replica 是最简单的方式。本次，我们主库位于192.168.101.79，从库位于192.168.101.80，全部使用msys2 ucrt64 postgresql。

二、整体架构流程

1. 安装 MSYS2 环境

在Windows下安装和配置MSYS2环境可以按照以下骤进行：

下载MSYS2安装程序：访问MSYS2官方网站（https://www.msys2.org/）下载最新的MSYS2安装程序。也可以直接去清华，中科大下载，更快。
运行安装程序：双击下载的安装程序，按照提示选择安装路径和其他选项。建议选择默认选项进行安装。
替换源：MSYS2替换国内源，清华，中科大

2. 安装postgresql

启动 ucrt64

#更新数据包
$ pacman -Syu --overwrite=* --overwrite=*.*  --noconfirm -d
#安装postgresql
$ pacman -S ucrt64/mingw-w64-ucrt-x86_64-postgresql

三、技术名词解释

1.MSYS2

MSYS2 是一个为Windows操作系统提供类Unix环境的软件包管理器和工具集。它的目标是为开发人员提供一个在Windows上进行软件开发的便捷环境。MSYS2环境包括以下主要组件：

MinGW系列环境：一个用于Windows的开发工具集，包括GCC编译器和一系列常用的开发库，可以用于编译和构建各种开源软件。
Pacman：一个类似于Linux的软件包管理器，可以方便地安装、更新和卸载软件包。
MSYS2 Shell：一个基于Bash的命令行终端，提供了一系列常用的Unix命令和工具，使开发人员可以在Windows上进行类Unix环境下的操作。
MSYS2 Runtime：提供了一些必要的运行时库和工具，使得在MSYS2环境下编译的程序可以在Windows上正常运行。

通过安装MSYS2环境，开发人员可以在Windows上使用类Unix环境下的工具和命令，方便地进行软件开发和调试。同时，MSYS2还提供了一些常用的开发库和工具，可以帮助开发人员更高效地进行开发工作。

2.postgresql

PostgreSQL是一种开源的对象关系型数据库管理系统（ORDBMS），以其强大的数据完整性、灵活性、高级查询能力和支持标准SQL而闻名。它支持事务处理，拥有复杂的数据类型，如数组和JSON，还提供地理空间数据的支持。其优势包括跨平台兼容、高可用性和安全性，以及高度的可扩展性，适合大规模数据存储和高性能分析应用。

四、技术细节

1. 创建主数据库

$ psql --version
psql (PostgreSQL) 17.0$ initdb -A trust -D /d/database/master -E utf-8 --locale=C -U postgres -W
属于此数据库系统的文件宿主为用户 "Administrator".
此用户也必须为服务器进程的宿主.数据库集簇将以区域环境设置 "C" 进行初始化.
默认的文本搜索配置将被设为 "english".禁止为数据页生成校验和.输入新的超级用户密码:
再输入一遍:正在修复已存在目录 D:/database/master 的权限 ... 成功
正在创建子目录 ... 成功
正在选择动态共享内存实现 ... windows
正在选择默认最大连接数 (max_connections) ... 100
正在选择默认共享缓冲区 (shared_buffers) ... 128MB
正在选择默认时区 ... Asia/Shanghai
正在创建配置文件 ... 成功
正在运行启动脚本 ... 成功
正在执行启动脚本后续初始化 ... 成功
正在同步数据到磁盘 ... 成功成功。你现在可以用下面的命令开启数据库服务器:pg^_ctl -D D:/database/master start

2.添加从数据库复制权限

现在新版的PostgreSQL默认开启了replica, 配置非常简单。第一步，就是给另一台备份机器的IP添加权限，打开 pg_hba.conf，添加对备份机器IP的权限。

$ vim /d/database/master/pg_hba.conf# TYPE  DATABASE        USER            ADDRESS                 METHOD# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            trust
host    all             all             192.168.101.80/32       trust# IPv6 local connections:
host    all             all             ::1/128                 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     all             192.168.101.80/32       trust

3. 按需修改参数

（1）WAL保留空间

对默认的 WAL replication，是依靠WAL文件来同步的。当从节点关机一段时间后，主节点的WAL记录可能被删除了。此时，即使重启从节点，也无法继续追赶。为了不发生这样的事情，需要提高WAL保留的天数，或者文件个数。一般超过网管巡视的周期2-3倍即可。如果想在从数据库掉线很久时,WAL依旧可用, 就要使用槽（slot）.使用槽可以保证WAL一直不被删除.但是这样的代价是万一忘记查看从数据库的状态,主库可能被撑爆. 本案例里, 我们采用控制WAL大小的方法,不设置专门的复制槽.

$ vim /d/database/master/postgresql.conf
wal_keep_size = 102400		# in megabytes; 0 disables

保留102GB的空间，这样即使从节点废了，过了1天再开机，也能赶上（主机WAL还没被清理）。注意，这个值不能设置太大，否则WAL占用空间就过大了。对应我们服务器16TB的空间，设置100GB还行。

（2）监听地址

$ vim /d/database/master/postgresql.conf
listen_addresses = '*'

4. 启动主服务器

$ pg_ctl -D D:/database/master  start
等待服务器进程启动 ....2024-11-08 19:32:49.380 CST [11544] LOG:  starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
....2024-11-08 19:32:54.108 CST [11544] LOG:  listening on IPv6 address "::", port 5432
2024-11-08 19:32:54.109 CST [11544] LOG:  listening on IPv4 address "0.0.0.0", port 5432
2024-11-08 19:32:54.377 CST [13172] LOG:  database system was shut down at 2024-11-08 19:31:17 CST
.2024-11-08 19:32:54.635 CST [11544] LOG:  database system is ready to accept connections完成
服务器进程已经启动

5. 复制主节点到从节点

复制主节点的服务到从节点，要登入到另一台机器 192.168.101.80上。查看 pg_basebackup的用法：

$ pg_basebackup --help
pg_basebackup 在运行的PostgreSQL服务器上执行基础备份.使用方法:pg_basebackup [选项]...控制输出的选项:-D, --pgdata=DIRECTORY 接收基础备份到指定目录-F, --format=p|t       输出格式 (纯文本 (缺省值), tar压缩格式)-i, --incremental=OLDMANIFESTtake incremental backup-r, --max-rate=RATE    传输数据目录的最大传输速率(单位 kB/s, 也可以使用后缀"k" 或 "M")-R, --write-recovery-conf为复制写配置文件-t, --target=TARGET[:DETAIL]backup target (if other than client)-T, --tablespace-mapping=OLDDIR=NEWDIR将表空间由 OLDDIR 重定位到 NEWDIR--waldir=WALDIR    预写日志目录的位置-X, --wal-method=none|fetch|stream按指定的模式包含必需的WAL日志文件-z, --gzip             对tar文件进行压缩输出-Z, --compress=[{client|server}-]METHOD[:DETAIL]compress on client or server as specified-Z, --compress=none    do not compress tar output一般选项:-c, --checkpoint=fast|spreadset fast or spread (default) checkpointing-C, --create-slot      创建复制槽-l, --label=LABEL      设置备份标签-n, --no-clean         出错后不清理-N, --no-sync          不用等待变化安全的写入磁盘-P, --progress         显示进度信息-S, --slot=SLOTNAME    用于复制的槽名-v, --verbose          输出详细的消息-V, --version          输出版本信息, 然后退出--manifest-checksums=SHA{224,256,384,512}|CRC32C|NONEuse algorithm for manifest checksums--manifest-force-encodehex encode all file names in manifest--no-estimate-size do not estimate backup size in server side--no-manifest      suppress generation of backup manifest--no-slot          防止创建临时复制槽--no-verify-checksums不验证校验和--sync-method=METHODset method for syncing files to disk-?, --help             显示帮助, 然后退出联接选项:-d, --dbname=CONNSTR   连接串-h, --host=HOSTNAME    数据库服务器主机或者是socket目录-p, --port=PORT        数据库服务器端口号-s, --status-interval=INTERVAL发往服务器的状态包的时间间隔 (以秒计)-U, --username=NAME    指定连接所需的数据库用户名-w, --no-password      禁用输入密码的提示-W, --password         强制提示输入密码 (应该自动发生)Report bugs to <pgsql-bugs@lists.postgresql.org>.
PostgreSQL home page: <https://www.postgresql.org/>

执行：

$ pg_basebackup -D /d/database/follower -Fp -R -v -P -h192.168.101.79 -U postgres
pg_basebackup: 开始基础备份，等待检查点完成
pg_basebackup: 已完成检查点
pg_basebackup: 预写日志起始于时间点: 0/2000028, 基于时间轴1
pg_basebackup: 启动后台 WAL 接收进程
pg_basebackup: 已创建临时复制槽"pg_basebackup_7264"
23235/23235 kB (100%), 1/1 表空间
pg_basebackup: 预写日志结束点: 0/2000158
pg_basebackup: 等待后台进程结束流操作...
pg_basebackup: 同步数据到磁盘...
pg_basebackup: renaming backup_manifest.tmp to backup_manifest
pg_basebackup: 基础备份已完成

这里的参数-R会生成用于恢复的配置文件。

注意，如果主库里已经有很多很多东西，这一步会执行很久。此时，要确保WAL的保留大小足够大（3.1节），以至于备份了1天后，等人回来了，备份起点的WAL日志还在。

6. 启动从节点

$ pg_ctl -D D:/database/follower  start
.2024-11-08 19:41:29.418 CST [13876] LOG:  starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
2024-11-08 19:41:29.419 CST [13876] LOG:  listening on IPv6 address "::", port 5433
2024-11-08 19:41:29.420 CST [13876] LOG:  listening on IPv4 address "0.0.0.0", port 5433
2024-11-08 19:41:29.682 CST [5560] LOG:  database system was interrupted; last known up at 2024-11-08 19:37:30 CST
2024-11-08 19:41:29.832 CST [5560] LOG:  starting backup recovery with redo LSN 0/2000028, checkpoint LSN 0/20000B8, on timeline ID 1
2024-11-08 19:41:29.833 CST [5560] LOG:  entering standby mode
2024-11-08 19:41:29.840 CST [5560] LOG:  redo starts at 0/2000028
2024-11-08 19:41:29.841 CST [5560] LOG:  completed backup recovery with redo LSN 0/2000028 and end LSN 0/2000158
2024-11-08 19:41:29.841 CST [5560] LOG:  consistent recovery state reached at 0/2000158
2024-11-08 19:41:29.841 CST [13876] LOG:  database system is ready to accept read-only connections完成
服务器进程已经启动
2024-11-08 19:41:30.053 CST [13924] LOG:  started streaming WAL from primary at 0/3000000 on timeline 1