GaussDB(分布式)实例故障处理

一、说明

GaussDB Kernel实例出现故障时，可以按照本节的办法进行实例快速修复。

1、执行gs_om -t status --detail查看集群状态，cluster_state为Normal，balanced为No，请重置实例状态。

2、执行gs_om -t status --detail查看集群状态，cluster_state为Degraded，表示有实例异常，但是集群依然可以正常对外提供服务。此时，虽然不影响业务运行，但是主备实例切换将加重某些节点上的工作负载，时间久了，可能带来这些对应节点上的资源耗尽，进而影响业务运行。因此集群处于Degraded状态时，建议尽快定位，使集群恢复至Normal状态。GaussDB Kernel提供了如下办法，协助用户在操作系统和硬件正常时的实例快速修复。

3、CN实例异常，优先通过删除CN和增加CN进行实例恢复。

4、各类实例异常的通用办法——修改HOSTNAME、IP和端口号。

二、重置实例状态

1、操作场景

集群在运行过程中，如果发生了主机或某些实例故障，集群管理模块会自动将备实例提升为主实例继续提供服务；或是由于数据库集群管理人员手工进行过主备切换操作后，使当前集群各主机上运行的主实例（GTM，DN）数不均等，造成集群负载不均衡，即集群“balanced”状态为"No"。这种情况下可以通过集群管理命令将集群中的数据库实例恢复为初始配置的主备状态。

存在实例异常时，需要先将实例修复后，才能进行重置。

2、处理方法

1.以操作系统用户omm登录数据库集群任一主机。

2.查询并确认集群运行状态及“balanced”状态。

“cluster_state”为“Normal”表示集群运行正常。“balanced”状态为“No”表示集群实例发生过主备切换。

gs_om -t status --detail

3.使用如下命令查看集群状态确认是哪些节点上的实例发生过主备切换。

gs_om -t status --detail

例如下面示例中，node2节点上的主dn2发生过主备切换。该DN原始为主DN（“state”中的字母“P”代表其初始为Primary DN），当前切换成了备DN（“state ”状态变成了“Standby Normal”）。

4.使用如下命令将集群中发生切换的实例恢复为初始配置的主备状态。

gs_om -t switch --reset --time-out=300

300为切换的等待时间，单位为s。切换后集群的“balanced”状态变为“Yes”。

3、示例

查询当前发生过切换的实例。

gs_om -t switch
Operation: Switch query.
[     GTM State     ]node                   instance             state
--------------------------------------------------------------------
(no need to switchover gtm)[  Datanode State   ]node     node_ip         instance            state  | node     node_ip        instance                      state            | node     node_ip        instance                       state
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
AZ1 1  plat1 192.168.0.11    6001 /gaussdb/data/data_dn1 P Standby Normal | 2  plat2 192.168.0.12   6002 /gaussdb/data/data_dnS1  S Primary Normal | 3  plat1 192.168.0.13   3002 /gaussdb/data/data_dnDS1  R Secondary Normal
Operation succeeded: Switch query.

若实例未发生过主备切换，则查询结果中会显示“no need to switchover xxx”。否则，则有实例发生过主备切换。例如，上例中通过查询发现有一组主备DN都发生过切换。将发生切换的实例恢复为初始配置的主备状态。

gs_om -t switch --reset --time-out=300
Operating: Switch reset.
cm_ctl: cmserver is rebalancing the cluster automatically.
......
cm_ctl: switchover successfully.
Operation succeeded: Switch reset.

4、错误排查

如果重置实例状态失败，请根据日志文件中的日志信息排查错误。

如果指定的超时时间到达后，仍然有某些实例没有完成状态切换，可以根据提示，执行3查看切换实例的当前状态，然后设置更长的时间再次执行或者通过log查看切换失败的原因。重置操作的默认超时时间为300s。

三、处理CN异常

集群部署多个CN同时对外提供服务，CN的角色是对等的，即执行DML语句时连接到任何一个CN都可以得到一致的结果。而DDL语句需要在所有CN上都执行完成，以保持数据库对象定义一致。如果其中一个CN发生故障，整个集群将无法执行DDL语句，直到故障CN被修复或剔除。

如果只有CN异常，使用gs_replace工具可以快速将故障CN替换为正常CN。具体请参见修复故障实例。

如果因网络无法连接、硬件故障造成操作系统无法登录等，短时间内无法恢复CN，又希望集群尽快恢复DDL执行能力，可以先手动删除故障CN。待DDL业务完成后，再通过增加CN功能将CN加回。

GaussDB Kernel也提供了CN自动剔除功能，此功能默认开启，开启和关闭方式请参见自动剔除故障CN。通过设置coordinator_heartbeat_timeout为具体的时间值，则CN故障超过此时间值后GaussDB Kernel将自动剔除故障CN。

多AZ多集群部署结构下：

  • AZ的拓扑结构应当保持相同（由运维人员保证），应当对所有集群进行同样的增删CN操作，成功后集群再开始同步操作。

  • CN部署结构变化，可能将引起Roach做全量同步，具体以Roach的约束为准

  • 增删CN开始时，会自动停止Roach的自动同步操作，完成或者回滚后，需要用户手动恢复自动同步配置。

1、删除CN

1.1 操作场景

在集群运行过程中，CN发生故障后，整个集群将无法执行DDL操作。因此，如果CN发生故障且无法快速修复时，可以使用gs_om中的managecn把故障CN从数据库集群中删掉，从而使集群可以快速恢复正常工作。

1.2 注意事项

  • “cluster_state”为“Unavailable”时，将无法执行删除CN操作。

  • 一次仅允许删除一个CN。

  • 如果因CN故障造成集群处于Degraded状态，此时如果执行删除CN操作，必须先删除因故障被剔除的CN，之后才能删除其他CN。

  • 若已开启CN自动剔除功能，CM会自动将故障CN剔除，即从pgxc_node中删掉，这样DDL可以正常执行。CN被自动剔除后，不会再被拉起，必须删除CN或通过实例替换、节点替换、温备修复，才能进行扩容、升级等其他操作。

  • 删除CN前不能锁定集群，不能执行其他运维及变更类操作。

  • 删除完成后集群中至少剩余一个正常的CN。

  • 数据库安装用户有足够的权限将新xml文件分发到所有主机的相同目录下。

  • 在执行删除CN操作时，建议不要进行数据增删改等DML操作以及DDL操作，以避免数据的丢失。

  • 在删除CN操作时，执行删除命令的节点不能是要删除的CN节点。

  • 单CN的集群不支持继续缩容操作。

  • 3CN以下的集群不建议进行缩容操作，避免缩容过程中或结束后因为CN故障导致集群功能不可用。

  • 部署kerberos情况下，同时缩容kerberos server主备ip所在的cn会导致集群异常。

1.3 处理方法

1.以操作系统用户omm登录数据库集群任一主机。

如果所登录的主机因网络或操作系统等故障无法登录，请更换为登录另一集群主机。

2.修改集群XML配置文件clusterconfig.xml。

请将要删除CN对应主机上的cooNum值从1改为0。

<!-- cn -->
<PARAM name="cooNum" value="0"/>
<PARAM name="cooPortBase" value="8000"/>
<PARAM name="cooDir1" value="/gaussdb/data/coordinator"/>

3.使用gs_om工具脚本执行删除CN操作。

gs_om -t managecn -m delete -X /opt/software/GaussDB_Kernel/clusterconfig.xml

1.4 示例

删除集群内部节点上的CN实例。

gs_om -t managecn -m delete -X /opt/software/GaussDB_Kernel/clusterconfig.xml
Checking the cluster configuration difference.
Successfully checked the cluster configuration difference.
Checking the cluster status.
Successfully checked the cluster status.
Distributing the XML configuration file to all nodes.
Successfully distributed the XML configuration file.
Creating backup directory.
Successfully created backup directory.
Backing up cluster configuration.
Successfully backed up cluster configuration.
Modifying static configuration files.
Static configuration file's modification is completed.
Locking cluster.
Successfully locked cluster.
Dropping pgxc_node catalog.
Successfully dropped pgxc_node catalog.
Configuring pg_hba on all nodes.
Unlocking cluster.
Successfully unlock cluster.
Waiting for cluster status to become Normal or Degraded.
.
The cluster status is Normal.
Deleting the CN instance.
Successfully cleaned CN instance.

集群运行过程中，某个含有CN的节点损坏短时间内无法修复（网络无法连接、硬件故障造成操作系统无法登录等），此时会造成其他CN无法执行业务，造成业务中断。此时，可以选择进行节点替换，但耗时较长，为了尽可能的快速恢复业务，可以执行对该节点上的CN删除。以故障节点为SIA1000022048为例：

gs_om -t managecn -m delete -X /opt/software/GaussDB_Kernel/clusterconfig.xml
Checking the cluster configuration difference.
Successfully checked the cluster configuration difference.
Warning: Failed to connect to the node SIA1000022048.
Checking the cluster status.
Successfully checked the cluster status.
Distributing the XML configuration file to all nodes.
Successfully distributed the XML configuration file.
Creating backup directory.
Successfully created backup directory.
Backing up cluster configuration.
Successfully backed up cluster configuration.
Modifying static configuration files.
Static configuration file's modification is completed.
Locking cluster.
Successfully locked cluster.
Dropping pgxc_node catalog.
Successfully dropped pgxc_node catalog.
Configuring pg_hba on all nodes.
Successfully configured pg_hba on all nodes.
Unlocking cluster.
Successfully unlock cluster.
Waiting for cluster status to become Normal or Degraded.
...........
The cluster status is Degraded.
Manage CN is completed.

如果执行完删除节点SIA1000022048的CN后，该节点又从故障中恢复，此时该节点上记录的集群信息为删除CN前的，造成该节点与真实的集群信息不相同，因此需要对该节点执行如下操作，以保障集群信息的统一。

调用gs_om -t generateconf -X /opt/software/GaussDB_Kernel/clusterconfig.xml ，用最新的集群配置文件重新生成各节点的静态配置文件，并覆盖此节点上的静态配置文件。
调用gs_om -t stop -h SIA1000022048和gs_om -t start -h SIA1000022048对该节点进行重启，使得新的集群配置信息生效。
手动删除节点SIA1000022048上的CN数据目录（选做）。

2、增加CN

2.1 操作场景

当集群中的CN数量无法承载业务运行压力时，可以通过gs_om的managecn功能给集群增加CN。同时，如果CN因故障被删除后，可以使用增加CN功能将其加回。

2.2 前提条件

  • 增加CN需要集群处于Normal状态。

  • 在已有主机上增加CN，需要提前创建CN的数据目录、日志目录。

  • 在新增主机上增加CN，需要在配置文件中新增新主机的CM路径并使用gs_preinstall工具准备好新主机的环境。

  • 需要在一个状态正常的主机上执行操作。

2.3 注意事项

  • 一次仅允许增加一个CN。

  • 增加CN前不能锁定集群，不能执行引起集群状态或结构变化的其他运维操作。

  • 数据库安装用户有足够的权限将新xml文件分发到所有主机的相同目录下。

  • 增加CN过程中集群可以执行业务，特别说明：由于过程中会短暂锁集群，锁集群后用户下发的包含显式启动事务的DDL语句会出现等待，集群解锁后会报错或等待时间超过20分钟会报错。如包含创建临时表操作，在集群解锁后会报错（Don’t support temp table when need reconnect pooler）。

  • 增加、删除CN过程中系统将关闭“自动剔除故障CN”功能，在完成后系统再次打开该功能。

2.4 处理方法

1.以操作系统用户omm登录数据库集群任一主机。

2.修改集群XML配置文件clusterconfig.xml。

在已有主机上新增CN，请将要增加CN对应主机上的cooNum值从0改为1。

<!-- cn -->
<PARAM name="cooNum" value="1"/>
<PARAM name="cooPortBase" value="8000"/>
<PARAM name="cooDir1" value="/gaussdb/data/coordinator"/>

在新增主机上增加CN，要求该主机上只能配有CN，不能包含DN、GTM、CM Server及ETCD。如下以增加集群外的主机SIA1000056772上的CN为例：

<!-- SIA1000056772的实例部署信息 --><DEVICE sn="1000002"><PARAM name="name" value="SIA1000056772"/><PARAM name="backIp1" value="10.180.122.136"/><PARAM name="sshIp1" value="10.180.122.136"/><!--cmserver--><PARAM name="cmsNum" value="0"/><PARAM name="cmServerPortBase" value="28601"/><PARAM name="cmServerPortStandby" value="28611"/><PARAM name="cmServerlevel" value="1"/><PARAM name="cmDir" value=" /data_rt/bigcluster_rt/cmserver"/><PARAM name="cmServerRelation" value="SIA1000056772,SIA1000056672"/><!-- cn --><PARAM name="cooNum" value="1"/><PARAM name="cooPortBase" value="8000"/><PARAM name="cooDir1" value="/gaussdb/data/coordinator"/><!-- gtm --><PARAM name="gtmNum" value="0"/><PARAM name="gtmPortBase" value="6000"/><PARAM name="gtmPortStandby" value="6500"/><PARAM name="gtmDir1" value="/data_rt/bigcluster_rt/gtm,SIA1000056672,/data_rt/bigcluster_rt/gtm"/><PARAM name="gtmRelation" value="SIA1000056772,SIA1000056672"/></DEVICE>

3.进入安装包解压出的script目录下，执行下面命令为增加CN准备好前置环境。

./gs_preinstall -U  -G dbgrp -L -X /opt/software/GaussDB_Kernel/clusterconfig.xml --alarm-type=5

4.使用gs_om工具脚本进行增加CN操作。

gs_om -t managecn -m add -X /opt/software/GaussDB_Kernel/clusterconfig.xml

5.（可选）如果增加CN前修改过CN的GUC参数：log_dir，listen_addresses，local_bind_address，port，pgxc_node_name，pooler_port，log_directory和audit_directory。增加CN成功后，新CN无法同步先前的修改。请使用gs_guc工具以reload方式修改重新修改CN上的这些GUC参数。

2.5 示例

增加集群内部节点上的CN实例。

前提条件：在xml中配置好需要增加的CN信息，执行前置命令。

gs_om -t managecn -m add -X /opt/software/GaussDB_Kernel/clusterconfig.xml
Checking the cluster configuration difference.
Successfully checked the cluster configuration difference.
Checking the cluster status.
Successfully checked the cluster status.
Distributing the XML configuration file to all nodes.
Successfully distributed the XML configuration file.
Creating backup directory.
Successfully created backup directory.
Backing up cluster configuration.
Successfully backed up cluster configuration.
Modifying static configuration files.
Static configuration file's modification is completed.
Locking cluster.
Successfully locked cluster.
Building CN instance.
Successfully built CN instance.
Creating pgxc_node catalog.
Successfully created pgxc_node catalog.
Configuring pg_hba on all nodes.
Unlocking cluster.
Successfully unlock cluster.
Waiting for cluster status to become Normal or Degraded.
.
The cluster status is Normal.

增加集群外部服务器上的CN，首先用新增外部机器CN的配置文件执行前置，然后以下面命令进行外部增加CN操作，以增加SIA10000622109为例。

gs_om -t managecn -m add -X /opt/software/GaussDB_Kernel/clusterconfig.xml
Checking the cluster configuration difference.
Successfully checked the cluster configuration difference.
Checking the cluster status.
Successfully checked the cluster status.
Distributing the XML configuration file to all nodes.
Successfully distributed the XML configuration file.
Creating backup directory.
Successfully created backup directory.
Installing GaussDB Kernel on the new node.
Checking installation environment on this node (SIA1000062209).
Installing applications on this node (SIA1000062209).
Synchronizing libcgroup configuration to this node (SIA1000062209).
Successfully installed GaussDB Kernel on the new node.
Backing up cluster configuration.
Successfully backed up cluster configuration.
Modifying static configuration files.
Static configuration file's modification is completed.
Locking cluster.
Successfully locked cluster.
Building CN instance.
Successfully built CN instance.
Creating pgxc_node catalog.
Successfully created pgxc_node catalog.
Configuring pg_hba on all nodes.
Unlocking cluster.
Successfully unlock cluster.
Waiting for cluster status to become Normal or Degraded.
.
The cluster status is Normal.

3、自动剔除故障CN

自动剔除故障CN功能默认开启。在单机部署场景下，自动剔除CN功能不生效，无需执行本节操作。

3.1 背景信息

  • 集群可部署多个CN同时对外提供服务，CN的角色是对等的，即执行DML语句时连接到任何一个CN都可以得到一致的结果。而DDL语句需要在所有CN上都执行完成，保持相关定义一致，如果其中一个CN发生故障，整个集群将无法执行DDL语句，直到故障CN被修复。

  • 为了不影响用户业务的执行，GaussDB Kernel 提供了CN故障自动剔除功能，系统检测到CN故障后在限定时间内将CN自动剔除，用户的DDL语句就可以继续执行。

3.2 前提条件

无。

3.3 注意事项

  • 自动剔除故障CN功能默认开启，默认设置CN剔除时间为25秒。用户可根据自己实际场景和需求确定是否开启功能，以及开启后的剔除时间。

  • 集群中部署的CN少于2个不会自动剔除。多CN场景下，共N个CN时，最多剔除N-1个CN。如果开启了自动修复CN功能（，已剔除CN的故障解除后，系统可以自动修复CN，或者用户执行实例替换命令手动修复，参见手动修复剔除的CN。

  • CN故障被剔除后，CN会处于Deleted状态， 集群处于Degraded状态，用户业务可以继续执行不受影响，但是物理集群的扩容、缩容、升级、增加CN、change IP操作将不能执行。

3.4 处理方法

开启自动剔除故障CN功能，即CN故障后，自动剔除故障的CN。

gs_guc set -Z cmserver -N all -I all -c "coordinator_heartbeat_timeout=25"

关闭自动剔除故障CN功能，即CN故障后，不剔除故障的CN。

gs_guc set -Z cmserver -N all -I all -c "coordinator_heartbeat_timeout=0"

其中coordinator_heartbeat_timeout为CN自动剔除的时间，单位是秒，默认值25秒，设置为0表示关闭CN自动剔除功能，设置为大于0的数字，表示开启此功能，用户可根据自己实际场景和需求确定剔除时间。

重新设置该参数后需要重启cm_server进程或发信号 kill -1 cm_server进程号才能生效。

4、手动剔除故障CN

CN故障时，除了自动剔除还可以对CN进行手动剔除。在单机部署场景下，手动剔除CN功能不生效，无需执行本节操作。

4.1 注意事项

当coordinator_heartbeat_timeout参数设置为0，自动剔除功能关闭时也可以执行手动剔除。

只有CN状态为down时，才能手动剔除该CN。

手动剔除CN时，若发生cm_server主故障，有可能会出现剔除超时，超时后重新执行剔除。

4.2 处理方法

执行如下命令进行手动剔除故障CN：

cm_ctl disable -n node_id -D data_path
node_id为CN所在节点的ID，data_path为CN的数据目录路径，可通过cm_ctl query -Cvd查询。

5、手动修复剔除的CN

CN故障被剔除后（状态显示为Deleted），数据库支持自动修复方式和手动修复方式修复被剔除的CN。本小节说明手动修复方式，即手动执行实例替换命令。在单机部署场景下，手动修复CN功能不生效，无需执行本节操作。

5.1 背景信息

CN手动修复时会短暂阻塞DDL，修复结束后DDL可以继续执行。

5.2 前提条件

  • 当前CN故障解除后才能启动手动修复。

  • CN手动修复需要在集群有正常的CN时才能成功。

  • 如果触发手动修复，自动修复会被停止。

5.3 注意事项

下述两条命令需要关联一起执行，若只执行gs_replace -t config -h而未执行gs_replace -t start -h则可能影响集群功能，导致后续使用自动修复方式时功能不可用。

5.4 处理方法

执行如下命令，对需要替换实例的主机进行配置操作。配置操作会清理替换实例的空间，初始化替换实例，配置替换实例。

gs_replace -t config -h hostname

执行如下命令，对需要修复实例的主机进行启动操作。

gs_replace -t start -h hostname

hostname是故障CN所在主机的主机名称。

6、修复故障实例

数据库集群是由多台主机组成的，当集群中主机上的某些实例发生故障后，为了使GaussDB Kernel快速地恢复正常，用户可以使用gs_replace工具将发生故障的实例替换为正常实例。

6.1 前提条件

  • 集群处于启动状态，且处于没有加锁。

  • 修复操作需要在一个正常主机上执行。

  • 一组DN的主实例、备实例，其中只能有一个损坏。

  • 集群内如下实例分别至少存在一个正常运行的：CM Server、CM Agent、GTM、CN。

  • 如果集群中部署有ETCD，则正常的ETCD个数必须大于ETCD总个数的一半。

  • 如果集群中未部署ETCD，某个GTM实例存在故障，则要求实例替换前另外一个GTM实例必须为最高可用模式，即该GTM实例正常。

  • 由于在修复实例时，会检查并修复所有主机上故障的CM Agent实例，所以要求各主机必须互信正常，且安装目录下的二进制文件未被损坏。

  • 强制修复多节点时，由于会停止需要修复节点内的所有CN，所以如果集群的所有CN在指定修复的节点中，则不支持强制修复多节点。

  • 强制修复多个节点时，由于会停止需要修复节点上的所有DN主、备实例，所以指定修复的节点的DN主、备均不能在同一个DN环内。

  • 一主多备部署下，修复DN实例时，为保证数据正确，DN环中必须有CM可监控的主存活。

6.2 注意事项

  • 如果集群中含有故障的CN且其状态不为Deleted，那么在修复过程中用户执行DDL会报错，DML可以正常执行。其他场景执行业务不受影响，特别说明：由于修复CN的过程中会短暂锁集群，锁集群后用户下发的包含显式启动事务的DDL语句会出现等待，集群解锁后会报错或等待时间超过20分钟会报错。如包含创建临时表操作，在集群解锁后会报错（Don’t support temp table when need reconnect pooler）。

  • 如果故障实例所在主机的安装目录下（$GAUSSHOME/bin/）的二进制文件损坏或丢失，则不能通过替换实例进行修复。需要复制其他正常主机对应的二进制文件到该主机，或者将该主机卸载后，再通过替换主机修复。

  • 在前一次修复结束后才能再次执行修复。因此请不要同时在多个主机上执行修复操作。

  • 实例修复操作会修复故障节点下的全部故障实例。

  • 在修复实例的config阶段，先将CM Agent组件修复好，这样才能获取到集群中所有实例的状态。如果主机上的某些实例被人为停止，在CM Agent组件修复好之后，这些原来正常的实例会被正常拉起，而不会被修复。如果在一定时间内拉起失败，这些实例将会被修复。

  • 修复故障实例过程中系统将关闭“自动剔除故障CN”功能，完成后系统再次打开该功能。因此建议在开始修复前确认故障的CN已经被自动剔除（即故障的CN状态为Deleted），否则在修复过程中用户执行DDL会报错。

  • 修复CN实例过程中，在CN状态未变为Normal前，不能连接该CN执行业务。

  • 实例修复前用户手动在故障实例上配置的guc参数、pg_hba.conf配置的白名单会丢失，需要重新设置。

6.3 处理方法

以替换主机plat1、plat2上的实例为例。

1.以操作系统用户omm登录数据库集群任一主机。操作系统用户omm登录的主机为非故障主机。

2.（可选）使用如下命令在需要替换实例的主机上清理可能存在的残留文件。此命令仅在上次修复故障实例执行失败的情况下需要执行。

(if [ -f $PGHOST/GaussReplace.dat ];then rm $PGHOST/GaussReplace.dat;fi)

该文件为替换故障实例、替换主机中产生的用于记录执行步骤的临时文件，如果在上次执行过程中出现宕机或网卡中断等，可能会导致该文件残留。在替换故障实例前检查该文件是否存在，且生成时间非本次替换故障实例的时间，则可判断为上次执行的残留文件，删除该文件后，继续执行替换故障实例。

3.使用如下命令对需要替换实例的主机进行配置操作。

gs_replace -t config -h plat1, plat2

配置操作会清理替换实例的空间，初始化替换实例，配置替换实例。

如果收到提示：“GAUSS_50201: The XXX does not exist.”，则请检查对应的实例数据目录是否存在。如果不存在，请重新创建目录后再次执行上述命令。

如果指定主机的表空间所在磁盘出现故障，从而导致表空间中的数据损坏，更换新磁盘后，需要指定–force参数对该主机强制进行表空间数据的恢复。如果在config阶段指定–force参数，则在start阶段也必须指定–force参数。

4.使用如下命令对需要修复实例的主机进行启动操作。

gs_replace -t start -h plat1 , plat2

启动操作会启动集群替换实例的主机。

5.使用如下命令重置实例状态。

switch为维护操作：确保集群状态正常，所有业务结束，并使用pgxc_get_senders_catchup_time()视图查询无主备追赶后，再进行switch操作。

gs_om -t switch --reset

重置过程会恢复集群初始状态，以保证各主机的负载都是均衡的。

6.执行如下命令查询集群状态。

gs_om -t status

7、修复DN增量build失败

7.1 背景信息

在集群DN增量build过程中，会先删除部分数据，如果原主损坏，那么主备均损坏。为了集群快速恢复正常，需要手动进行文件替换，然后恢复集群，使集群能够正常运行。

7.2 前提条件

  • 只在增量build的场景下。

  • 集群已安装，增量build前集群状态正常。

  • 只有DN环中包含的主实例、备实例故障，从备实例正常。

  • 集群内如下实例分别至少存在一个正常运行的：CM Server、CM Agent、GTM、CN。

  • 由于在修复实例时，会检查并修复所有主机上故障的CM Agent实例，所以要求各主机必须互信正常，且安装目录下的二进制文件未被损坏。

7.3 注意事项

pg_rewind_bak目录为增量build时备机的文件备份目录，不能被手动修改。

7.4 处理方法

1.以操作系统用户omm登录集群故障节点的主机。

2.停止所有CN和故障的DN主备从。

3.执行以下命令查看CN和故障DN所在节点信息。

cm_ctl query -Cvd

例如在一个含3个CN和12个DN的主备从集群中，

CN :
node             instance                     state
-----------------------------------------------------
1  lfgp000710736 5001 /data1/mpp/coordinator1 Normal
2  lfgp000710735 5002 /data1/mpp/coordinator2 Normal
3  lfgp000710734 5003 /data1/mpp/coordinator3 Normal

故障DN :

3  lfgp000710734 6017 /data1/mpp/data1/master09 P Down    Disk damaged | 1  lfgp000710736 6018 /data1/mpp/data1/slave09  S Down    Unknown | 2  lfgp000710735 3010 /data1/mpp/data1/dummy09  R Secondary Normal

执行以下命令停止所有CN和故障的dn主备从。

cm_ctl stop -n nodenumber -D CN所在目录
cm_ctl stop -n nodenumber -D DN所在目录

其中，nodenumber，CN所在目录，DN所在目录可由1获取。例如，

cm_ctl stop -n 1 -D /data1/mpp/coordinator1
cm_ctl stop -n 2 -D /data1/mpp/coordinator2
cm_ctl stop -n 3 -D /data1/mpp/coordinator3
cm_ctl stop -n 1 -D /data1/mpp/data1/slave09
cm_ctl stop -n 2 -D /data1/mpp/data1/dummy09

执行restore操作，需要登录到故障的机器上。

gs_ctl restore -D /data1/mpp/data1/slave09

cm_ctl start方式启动故障结点。

cm_ctl start -n 1 -D /data1/mpp/data1/slave09/　#先变成Standby Need

repair(Disconnected)，然后是Standby Promoting，这时候起来从备

启动从备：

cm_ctl start -n 2 -D /data1/mpp/data1/dummy09

备机升主成功。

启动原主机:

cm_ctl start -n 3 -D /data1/mpp/data1/master09

原主机启动成功后降为备机。

启动CN结点，恢复业务:

cm_ctl start -n 1 -D /data1/mpp/coordinator1
cm_ctl start -n 2 -D /data1/mpp/coordinator2
cm_ctl start -n 3 -D /data1/mpp/coordinator3

检查结点状态是否恢复正常：

cm_ctl query –Cvd

数据校验。

启动业务。

在数据验证完成后，启动业务。

四、修改HOSTNAME、IP和端口号

1、背景信息

在数据库集群使用过程中，由于网络部署调整、机房搬迁、网络故障等带来主机IP地址和端口号的变更。GaussDB Kernel提供了gs_om的changeip操作可以在不换主机、不改变集群其他配置的前提下，快速实现集群IP地址、主机名或者端口号的变更。

2、前提条件

  • 确认集群状态正常后，停止集群。

  • 基于新IP、主机名的用户互信已配置好。

  • 数据库安装用户有足够的权限将新xml文件分发到所有主机的相同目录下。

3、注意事项

  • 仅换IP地址、主机名或者端口号，不换主机。

  • 以数据库安装用户执行脚本。

  • 外部表IP不处理。

  • 修改IP支持集群backIP，sshIP，HaIP以及实例侦听IP的修改。修改端口支持修改GTM、CN、ETCD、CM Server以及DN端口。

  • 在修改集群IP过程中，出现异常情况（断电、宕机）时，通过“gs_om -t status”获取到的集群以及实例状态信息是不准确的。重新执行修改集群IP操作，正常结束后才能进行其它操作。

  • 修改IP和端口号操作需要停止业务，执行过程中不支持数据库DQL、DDL、DML、DCL操作。

  • 当未配置实例端口时，实例初始化的默认端口为cm_server主5000备5500；GTM主6000备6500；CN主8000备8500；DN主40000备45000从50000；ETCD主2379备2380。

4、处理方法

1.以root用户身份登录数据库集群任一主机。

2.修改集群部署配置文件clusterconfig.xml，把主机的IP和hostname或者端口号替换为新的。

3.进入安装包解压后的script文件夹。例如，安装包存放路

为/opt/software/GaussDB_Kernel。

cd /opt/software/GaussDB_Kernel/script

4.准备集群环境。

./gs_preinstall -U omm -G dbgrp -X ../clusterconfig.xml --alarm-type=5

omm为运行集群的操作系统用户，dbgrp为操作系统用户的群组名称，clusterconfig.xml为集群配置文件，此示例中假设其存储在安装包存放路径下。

5.切换为omm用户。

su - omm

6.执行如下命令进行修改集群IP操作。

gs_om -t changeip -X clusterconfig.xml
clusterconfig.xml为修改后的配置文件。

如果执行修改集群IP过程中出现错误，系统调用自动回滚。如果自动回滚过程中，因为磁盘满等原因，导致回滚失败，则用户排除错误后，如需继续执行修改IP则调用本命令，如果要放弃修改IP，则调用如下命令将集群恢复到修改ip之前的状态：

gs_om -t changeip -X clusterconfig.xml --rollback

5、涉及修改参数列表

集群的IP和端口号都需要使用gs_om工具进行修改。

未标题-1.jpg

文章转载自：华为云开发者联盟

原文链接：https://www.cnblogs.com/huaweiyun/p/18082876

体验地址：引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/280373.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

02分布式搜索引擎ES

02分布式搜索引擎ES

elasticsearch查询 1.DSL查询文档1.1.DSL查询分类1.2.全文检索查询1.3.精准查询1.4.地理坐标查询1.5.复合查询 2.搜索结果处理2.1.排序2.2.分页2.3.高亮2.4.总结 3.RestClient查询文档3.1.快速入门3.2.match查询3.3.精确查询3.4.布尔查询3.5.排序、分页3.6.高亮 1.DSL查询文档 …
阅读更多...
springboot+itextpdf+thymeleaf+ognl根据静态模版文件实现动态生成pdf文件并导出demo

springboot+itextpdf+thymeleaf+ognl根据静态模版文件实现动态生成pdf文件并导出demo

第一步&#xff1a;导入maven依赖 <!-- 导出为PDF依赖包 --><dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId></dependency><dependency><groupId>com.itextpdf</groupId><art…
阅读更多...
EF数据持久化(三层架构，客户增删)

EF数据持久化(三层架构，客户增删)

效果图 点击新增按钮 点击添加 添加成功展示新增数据 点击删除&#xff0c;出现删除选项&#xff0c;点击确定根据id删除成功 成功删除 实现过程 Model设置具体流程在下面链接中 https://blog.csdn.net/Mr_wangzu/article/details/136805824?spm1001.2014.3001.5501 DAL …
阅读更多...
棋盘问题（递推，递归）

棋盘问题（递推，递归）

//新生训练 #include <iostream> #include <algorithm> using namespace std; char a[10][10]; char limit[10]; int n, k; int ans 0; void dfs(int u, int cnt) {int m;if (cnt k){ans;return;}if (u > n){return;}for (int i 1; i < n; i){if (a[u][i]…
阅读更多...
HTML静态网页成品作业(HTML+CSS)——动漫猫和老鼠网页(1个页面)

HTML静态网页成品作业(HTML+CSS)——动漫猫和老鼠网页(1个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有1个页面。 二、作品演示 三、代…
阅读更多...
Maxwell监听mysql的binlog日志变化写入kafka消费者

Maxwell监听mysql的binlog日志变化写入kafka消费者

一. 环境&#xff1a; maxwell:v1.29.2 (从1.30开始maxwell停止了对java8的使用&#xff0c;改为为11) maxwell1.29.2这个版本对mysql8.0以后的缺少utf8mb3字符的解码问题&#xff0c;需要对原码中加上一个部分内容 &#xff1a;具体也给大家做了总结 &#xff1a; 关于v1.…
阅读更多...
uniapp、vue2.6、H5，利用腾讯TRTC，快速跑通1v1视频功能

uniapp、vue2.6、H5，利用腾讯TRTC，快速跑通1v1视频功能

多人视频聊天室搭建&#xff0c;官网已有相关demo和案例&#xff0c;需要快速搭建多人聊天室直接进入以下网站&#xff1a; 实时音视频 Web & H5 (Vue2/Vue3)-视频通话&#xff08;含 UI&#xff09;-文档中心-腾讯云说明&#xff1a;https://cloud.tencent.com/document/…
阅读更多...
【C语言】循环语句（语句使用建议）

【C语言】循环语句（语句使用建议）

文章目录 **while循环****while循环的实践****补充:if语句与while语句区别****for循环(使用频率最高)****for循环的实践****while循环和for循环的对比****Do-while循环****break和continue语句****循环的嵌套****goto语句(不常用)****循环语句的效率(来自于高质量的C/C编程书籍…
阅读更多...
css 如何获取分辨率(使用@media查询)

css 如何获取分辨率(使用@media查询)

在CSS中&#xff0c;可以使用media查询来应对不同的屏幕分辨率。例如&#xff0c;您可以为不同的屏幕宽度设置不同的样式规则。 /* 针对屏幕宽度小于600px的样式 */ media screen and (max-width: 599px) {body {background-color: lightblue;} }/* 针对屏幕宽度大于或等于600…
阅读更多...
使用光标精灵更换电脑鼠标光标样式，一键安装使用

使用光标精灵更换电脑鼠标光标样式，一键安装使用

想要让自己在使用电脑时更具个性化&#xff0c;让工作和娱乐更加愉快&#xff0c;改变你的电脑指针光标皮肤可能是一个简单而有效的方法。很多人或许并不清楚如何轻松地调整电脑光标样式&#xff0c;下面我就来分享一种简单的方法。 电脑光标在系统里通常只有几种默认图案&…
阅读更多...
流畅的 Python 第二版（GPT 重译）（一）

流畅的 Python 第二版（GPT 重译）（一）

前言 计划是这样的&#xff1a;当有人使用你不理解的特性时&#xff0c;直接开枪打死他们。这比学习新东西要容易得多&#xff0c;不久之后&#xff0c;活下来的程序员只会用一个容易理解的、微小的 Python 0.9.6 子集来编写代码 。 Tim Peters&#xff0c;传奇的核心开发者&am…
阅读更多...
Spring Web MVC入门(5)

Spring Web MVC入门(5)

响应 在我们前面的代码例子中, 都已经设置了响应数据Http响应结果可以是数据, 也可以是静态页面, 也可以针对响应设置状态码, Header信息等. 返回静态页面 创建前端页面index.html(注意路径) html代码如下: <!DOCTYPE html> <html lang"en"> <hea…
阅读更多...
window下安装并使用nvm（含卸载node、卸载nvm、全局安装npm）

window下安装并使用nvm（含卸载node、卸载nvm、全局安装npm）

window下安装并使用nvm&#xff08;含卸载node、卸载nvm、全局安装npm&#xff09; 一、卸载node二、安装nvm三、配置路径和下载源四、使用nvm安装node五、nvm常用命令六、卸载nvm七、全局安装npm、cnpm八、遇到的问题 nvm 全名 node.js version management&#xff0c;顾名思义…
阅读更多...
PyTorch 深度学习（GPT 重译）（二）

PyTorch 深度学习（GPT 重译）（二）

四、使用张量表示真实世界数据 本章内容包括 将现实世界的数据表示为 PyTorch 张量 处理各种数据类型 从文件加载数据 将数据转换为张量 塑造张量&#xff0c;使其可以作为神经网络模型的输入 在上一章中&#xff0c;我们了解到张量是 PyTorch 中数据的构建块。神经网络…
阅读更多...
列表的循环遍历

列表的循环遍历

列表的遍历 - while循环 既然数据容器可以存储多个元素&#xff0c;那么&#xff0c;就会有需求从容器内依次取出元素进行操作。 将容器内的元素依次取出进行处理的行为&#xff0c;称之为&#xff1a;遍历&#xff0c;迭代 如何遍历列表的元素呢&#xff1f; 可以使用前面…
阅读更多...
阿里云轻量应用服务器和ECS服务器有啥区别？2024年整理对比表

阿里云轻量应用服务器和ECS服务器有啥区别？2024年整理对比表

阿里云服务器ECS和轻量应用服务器有什么区别&#xff1f;轻量和ECS优缺点对比&#xff0c;云服务器ECS是明星级云产品&#xff0c;适合企业专业级的使用场景&#xff0c;轻量应用服务器是在ECS的基础上推出的轻量级云服务器&#xff0c;适合个人开发者单机应用访问量不高的网站…
阅读更多...
kubesphere all in one部署Jenkins提示1 Insufficient cpu

kubesphere all in one部署Jenkins提示1 Insufficient cpu

原因 devops 至少一个cpu&#xff08;1000m&#xff09;&#xff0c;但是其他资源已经占用了很多cpu CPU 资源以 CPU 单位度量。Kubernetes 中的一个 CPU 等同于&#xff1a; 1 个 AWS vCPU 1 个 GCP核心 1 个 Azure vCore 裸机上具有超线程能力的英特尔处理器上的 1 个超线程…
阅读更多...
优雅的 Markdown

优雅的 Markdown

Markdown浅尝 一、勾选框 注意[]前后都要有空格 - [x] 干的漂亮 - [x] 吃饭 - [x] 写代码 - [ ] 睡觉 干的漂亮 吃饭 写代码 睡觉 二、列表 #无序列列表 * 换成 - 也行 * 你 * 你好 * 你好呀 - 你很好啊 你你好你好呀你很好啊 #有序列表 . 后面有个空格 1. 我 2. 是我 3.…
阅读更多...
【Jenkins】data stream error|Error cloning remote repo ‘origin‘ 错误解决【亲测有效】

【Jenkins】data stream error|Error cloning remote repo ‘origin‘ 错误解决【亲测有效】

错误构建日志 17:39:09 ERROR: Error cloning remote repo origin 17:39:09 hudson.plugins.git.GitException: Command "git fetch --tags --progress http://domain/xxx.git refs/heads/*:refs/remotes/origin/*" returned status code 128: 17:39:09 stdout: 17…
阅读更多...
CSS Module

CSS Module

CSS Module的作用&#xff1a;将CSS样式作用域限制在特定的组件范围内&#xff0c;以避免全局样式污染和命名冲突。 Vue中如何实现样式模块…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023