13、PXC集群

MySQL数据库集群-PXC方案是一种解决数据库领域常见疑难杂症的解决方案。该方案采用Percona XtraDB Cluster (PXC)作为数据库引擎，通过将多个数据库节点组合成一个集群来提高数据库的可用性、容错性和性能。

参考地址

https://docs.percona.com/percona-xtradb-cluster/5.7/intro.html

PXC架构方案优缺点

优点

✔ 实现了MySQL集群的高可用性和数据的强一致性。
✔ 完成了真正的多节点读写的集群方案。
✔ 改善了主从复制延迟问题，基本上达到了实时同步。
✔ 新加入的节点可以自动部署，无需提前手动备份，维护方便。
✔ 由于是多节点写入，所以DB故障切换很容易。

缺点

✔ 加入新节点时开销大，添加新节点时，必须从现有节点之一复制完整数据集。如果是100GB，则复制100GB。
✔ 任何更新的事务都需要全局验证通过，才会在其他节点上执行。集群性能受限于性能最差的节点，也就是常说的木桶定律。
✔ 因为需要保证数据的一致性，PXC采用的实时基于存储引擎层来实现同步复制，所以在多节点并发写入时，锁冲突问题比较严重。
✔ 存在写扩大的问题，所以节点上都会发生写操作，对于写负载过大的场景，不推荐使用PXC。
✔ 只支持innodb存储引擎。
✔ 表中必须有主键

PXC中重要的概念

首先要规范集群中节点的数量，整个集群节点数控制在最少3个、最多8个的范围内。最少3个是为了防止脑裂现象，因为只有在两个节点的情况下才会出现脑裂。脑裂的表现就是输出任何命令，返回的结果都是unknow command。
当一个新节点要加入PXC集群时，需要从集群中各节点里选举一个doner节点作为全量数据的贡献者。
PXC有两种节点的数据传输方式，
- SST全量传输。有XtraBackup、mysqldump、rsync三种方式，一般数据量不大时可以使用SST作为全量传输，但也只是使用XtraBackup方式。
- IST增量传输。有XtraBackup。
节点在集群中，会因为新节点的加入或故障，同步失效等而发生状态的切换
- open：节点启动成功，尝试连接到集群。
- primary：节点已在集群中，在新节点加入集群时，选取doner进行数据同步时会产生式的状态。
- joiner：节点处于等待接收同步数据文件的状态。
- joined：节点已完成了数据同步，尝试保持和集群中其他节点进度一致。
- synced：节点正常提供服务的状态，表示已经同步完成并和集群进度保持一致。
- doner：节点处于为新加入节点提供全量数据时的状态。

PXC中重要的配置参数

搭建PXC过程中，需要在my.cnf中设置以下参数。

wsrep_cluster_name：     指定集群的逻辑名称，对于集群中的所有节点，集群名称必须相同。
wsrep_cluster_address：  指定集群中各节点地址。
wsrep_node_name：        指定当前节点在集群中的逻辑名称。
wsrep_node_address：     指定当前节点的IP
wsrep_provider：         指定galera库的路径。
wsrep_sst_method：       默认情况下，PXC使用XtraBackup进行SST传输。强烈建议failure参数指为xtrabackup-v2。
wsrep_sst_auth：         指定认证凭证SST作为sst_user:sst_pwd。必须在引导第一个节点后创建此用户并赋于必要的权限。
pxc_strict_mode：        严格模式，官方建议该参数值为enforcing。

Gcache模块涉及了如下参数

在PXC中还有一个特别重要的模块就是Gcache。它的核心功能就是每个节点缓存当前最新的写集。如果有新节点加入集群，就可以把新数据等待增量传输给新节点，而不需要使用SST方式。这样可以让节点更快的加入到集群中。

gcache.size：      代表用来缓存写集增量信息的大小。它的默认大小为128MB，通过wsrep_provider_options变量参数设置。建议调整为2G-4G范围，足够的空间便于缓存更多的增量信息。
gcache.mem.size： 代表gcache中内存换存的大小，适度调大可以提高整个集群的性能。
gcache.page.size：可以理解为如果内存不够用（cache不足），就直接将写集写入到磁盘文件中。

PXC集群状态监控

在集群搭建好之后，可以通过以下状态变量’%wsrep%'来查看集群各节点的状态。

wsrep_local_state_uuid： 集群中所有节点的该状态值应该是相同的，如果有不同值的节点，说明其没有加入集群。
wsrep_last_committed：   最后提交的事务数目。
wsrep_cluster_size：     当前集群中的节点数量。
wsrep_cluster_status：   ''
wsrep_local_state：      当前节点状态，值为4表示正常。该状态有4个值。
joining：                表示节点正在加入集群。
doner：                  节点处于为新加入节点提供全量数据时的状态。
joined：                 当前节点已成功加入集群。
synced：                 当前节点与集群中各节点是同步状态。
wsrep_ready：            为on表示当前节点可以正常提供服务。为off表示节点可能发生脑裂或网络问题导致

PXC集群的注意事项

✔ 尽可能的控制PXC集群的规模，节点越多，数据同步速度越慢
✔ 所有 PXC节点的硬件配置要一致，如果不一致，配置低的节点将拖慢数据同步速度
✔ PXC集群只支持InnoDB引擎，不支持其他的存储引擎

比较PXC模式和Replication(传统主从)

PXC 集群方案所有节点都是可读可写的，Replication从节点不能写入，因为主从同步是单向的，无法从slave节点向master点同步
PXC 同步机制是同步进行的，这也是它能保证数据强一致性的根本原因，Replication同步机制是异步进行的，它如果从节点停止同步，依然可以向主节点插入数据，正确返回，造成数据主从数据的不一致性。
PXC 是用牺牲性能保证数据的一致性，Replication在性能上是高于PXC的。所以两者用途也不一致。PXC是用于重要信息的存储，例如：订单、用户信息等。Replication用于一般信息的存储，能够容忍数据丢失，例如：购物车，用户行为日志等。

部署PXC集群

环境： Centos7.0
MYSQL: 5.7.28
10.11.19.244 (主)
10.11.19.245
10.11.19.246

安装PXC相关依赖包

# 所有服务器
yum install -y libev lsof perl-Compress-Raw-Bzip2 perl-Compress-Raw-Zlib perl-DBD-MySQL perl-DBI perl-Digest perl-Digest-MD5 perl-IO-Compress perl-Net-Daemon perl-PIRPC qpress socat openssl openssl-devel wget

下载软件包

# 主
wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.18/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm
wget https://www.percona.com/downloads/Percona-XtraDB-Cluster-57/Percona-XtraDB-Cluster-5.7.28-31.41/binary/tarball/Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz
scp percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz 10.11.19.245:/root 
scp percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz 10.11.19.246:/root

安装xtrabackup

# 所有节点
yum -y localinstall percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm

创建MySQL的组和用户

# 所有节点
groupadd -r mysql
useradd -M -s /bin/false -r -g mysql mysql

解压软件,创建数据目录，赋予权限

# 所有节点
tar zxf Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz
mv Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101 /usr/local/mysql
mkdir -p /usr/local/mysql/data/
chown -R mysql:mysql /usr/local/mysql

安装qpress

作用: 恢复数据使用

# 所有节点
wget http://www.quicklz.com/qpress-11-linux-x64.tar
tar xf qpress-11-linux-x64.tar
mv qpress /usr/local/bin/

准备配置文件

binlog 格式必须是 row
所有主机上配置文件相同，
注意修改
- server_id
- wsrep_node_name
- wsrep_node_address

# cat /etc/my.cnf    # # 所有节点手动创建

[client]
port=3306
socket=/tmp/mysql.sock


[mysqld]
user=mysql
port=3306
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
socket=/tmp/mysql.sock
pid-file=db.pid
character_set_server=utf8mb4
skip_name_resolve=1
open_files_limit=65535
max_connections=65535
max_connect_errors=1000000
back_log=1024
table_open_cache=1024
table_definition_cache=1024
table_open_cache_instances=64
thread_stack=512K
external-locking=FALSE
max_allowed_packet=32M
sort_buffer_size=4M
join_buffer_size=4M
thread_cache_size=768
#query_cache_size = 0
#query_cache_type = 0
interactive_timeout=600
wait_timeout=600
tmp_table_size=32M
max_heap_table_size=32M


# 慢查询SQL
slow_query_log=1
slow_query_log_file=/usr/local/mysql/data/slow.log
log-error=/usr/local/mysql/data/error.log
long_query_time=0.1


# 异步复制
server_id=1
log_bin=/usr/local/mysql/data/mysql-bin
sync_binlog=1
binlog_cache_size=4M
max_binlog_cache_size=1G
max_binlog_size=1G
expire_logs_days=7
master_info_repository=TABLE
relay_log_info_repository=TABLE

# 开启GTID
gtid_mode=on
enforce_gtid_consistency=1
log_slave_updates=1
binlog_format=row

# 中继日志
relay_log_recovery=1
relay_log_purge=1
key_buffer_size=32M
read_buffer_size=8M
read_rnd_buffer_size=4M
bulk_insert_buffer_size=64M
lock_wait_timeout=3600
explicit_defaults_for_timestamp=1


# innodb 优化
innodb_thread_concurrency=0
innodb_sync_spin_loops=100
innodb_spin_wait_delay=30
transaction_isolation=REPEATABLE-READ
innodb_buffer_pool_size=1024M
innodb_buffer_pool_instances=8
innodb_buffer_pool_load_at_startup=1
innodb_buffer_pool_dump_at_shutdown=1
innodb_data_file_path=ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=32M
innodb_log_file_size=2G
innodb_log_files_in_group=2
#innodb_max_undo_log_size=4G
innodb_io_capacity=2000
innodb_io_capacity_max=4000
innodb_flush_neighbors=0
innodb_write_io_threads=4
innodb_read_io_threads=4
innodb_purge_threads=4
innodb_page_cleaners=4
innodb_open_files=65535
innodb_max_dirty_pages_pct=50
innodb_flush_method=O_DIRECT
innodb_lru_scan_depth=4000
innodb_checksum_algorithm=crc32
#innodb_file_format=Barracuda
#innodb_file_format_max=Barracuda
innodb_lock_wait_timeout=10
innodb_rollback_on_timeout=1
innodb_print_all_deadlocks=1
innodb_file_per_table=1
innodb_online_alter_log_max_size=4G
internal_tmp_disk_storage_engine=InnoDB
innodb_stats_on_metadata=0

# PXC
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=1G"
wsrep_cluster_name=pxc
wsrep_cluster_address=gcomm://10.11.19.244,10.11.19.245,10.11.19.246
wsrep_node_name=master
wsrep_node_address=10.11.19.244
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sst:pwd@123
pxc_strict_mode=ENFORCING
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

初始化集群。

# 所有节点
ln -s /usr/local/mysql/bin/* /usr/local/bin/
mysqld --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data --initialize

启动主节点

# 所有节点
mysqld --defaults-file=/etc/my.cnf --wsrep_new_cluster &

初始创建用户

# 获取初始密码（主节点）
grep 'password' /usr/local/mysql/data/error.log

# 修改初始密码（主节点）
alter user root@localhost identified by '123456';

# 创建PXC中的SST传输账号 (对应配置文件里面的wsrep_sst_auth)。（主节点）
grant all on *.* to 'sst'@'localhost' identified by 'pwd@123';
flush privileges;

子节点加入集群

只需要启动子节点，会自动加入


# 子节点执行
mysqld --defaults-file=/etc/my.cnf &

# 主节点执行查看
ss -anpult | grep mysql

查看集群状态


mysql> show global status like '%wsrep_cluster%';
+--------------------------+--------------------------------------+
| Variable_name            | Value                                |
+--------------------------+--------------------------------------+
| wsrep_cluster_weight     | 3                                    |
| wsrep_cluster_conf_id    | 3                                    |
| wsrep_cluster_size       | 3                                    |
| wsrep_cluster_state_uuid | 35e7a102-0054-11ee-bf9b-5acd7535637d |
| wsrep_cluster_status     | Primary                              |
+--------------------------+--------------------------------------+
5 rows in set (0.01 sec)


mysql> show global status like '%wsrep_ready%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wsrep_ready   | ON    |
+---------------+-------+

验证复制

任意节点创建库表，往其中插入数据，在另外两个节点上查看数据是否同步。
模拟宕机插入数据，重启宕机机器是否数据更新
不管是master节点宕机，还是子节点宕机，重新加入不需要指定 --wsrep_new_cluster

Previous12、如何在已有的数据库中无损主主备份？Next14、TIUP TIDB

Last updated 1 year ago