KingbaseES V8R3集群专用机网关失败分析案例

KingbaseES R3集群网关检测工作机制：
1、Cluster下watchdog进程在固定间隔时间，通过ping 网关地址监控链路的连通性，如果连通网关地址失败，则修改cluster status，比如将“master”修改为“lost”，并摘除主节点的Cluster VIP。
2、在部署完成cluster后，会通过crond定时（每隔1分钟）运行network_rewind.sh脚本，在脚本通过函数checktrustip()，检测网关地址的连通性，如果网关地址无法连通，ping 3次后失败，则关闭kingbaseES数据库实例，清除DB VIP。
3、在部署完成cluster后，会通过crond定时（每隔1分钟）运行restartcluster.sh脚本，在脚本中通过函数 pingtrustip()，监控网关地址连通性，如果网关地址无法连通，ping 3次后失败，默认等待10s后，关闭cluster服务进程。
4、网关地址恢复正常后，restartcluster.sh进程会重新启动cluster服务进程，但是数据库进程仍然需要人工介入，手工启动。

案例信息：

一、案例分析过程

1、主备库连接网关失败

主库“2022-04-06 15:57:23”秒，cluster.log记录主库连接网关失败。

备库“2022-04-06 15:57:32”秒，cluster.log记录主库连接网关失败。

2、主备库尝试连接网关
=注：主备库按照参数HEALTH_CHECK_MAX_RETRIES，HEALTH_CHECK_RETRY_DELAY配置的阈值进行网关连接尝试。=

3、2022-04-06 15:57:44 主库多次连接网关失败，主库数据库服务被shutdown，触发主备切换。

4、2022-04-06 15:57:44 发生主备切换时，备库仍然也不能ping通网关，导致备库的数据库服务也被shutdown，切换失败。

5、最终结果是，因为主备库都和网关无法正常通讯，主备库数据库服务都是shutdown；但后面网关可以ping 通时，kingbasecluster服务被重启，但是数据库服务需要人工参与启动。

二、总结
1、KingbaseCluster的节点通过测试和网关地址的连通性来判断集群的运行环境及节点的状态。
2、如果网关ip出现故障，导致集群所有的节点无法连通网关地址时，集群为了保护后台数据库数据的一致性将会关闭集群，包括后台数据库服务。
3、在网关恢复正常后，将重启集群的管理服务（kingbasecluster），但是后台数据库服务需要人工判断后手工启动。
4、为了确保集群的稳定，可以配置多个网关地址，降低因为网关故障而导致集群停止服务的因素。
5、在新的版本中，提升了网关故障的处理能力，可以参阅官网文档《支持网关故障》章节。
https://help.kingbase.com.cn/stage-api/profile/document/kes/v8r3/html/highly/availability/high-a-config.html#id7