14、TIUP TIDB
跨机房集群方式，延迟最好要低于 100ms
Last updated
跨机房集群方式，延迟最好要低于 100ms
Last updated
参考地址: https://docs.pingcap.com/zh/tidb/dev/tiup-cluster
Usage:
tiup cluster [command]
Available Commands:
check 对集群进行预检
deploy 部署集群
start 启动已部署的集群
stop 停止集群
restart 重启集群
scale-in 集群缩容
scale-out 集群扩容
clean 清理数据
destroy 销毁集群
upgrade 升级集群
display 获取集群信息
list 获取集群列表
audit 查看集群操作日志
import 导入一个由 TiDB Ansible 部署的集群
edit-config 编辑 TiDB 集群的配置
reload 用于必要时重载集群配置
patch 使用临时的组件包替换集群上已部署的组件
help 打印 Help 信息
Flags:
-c, --concurrency int 最大并行任务数（默认值为 5）
--format string (实验特性) 输出的格式, 支持 [default, json] (默认值为 "default")
-h, --help 帮助信息
--ssh string (实验特性）SSH 执行类型，可选值为 'builtin'、'system'、'none'。
--ssh-timeout uint SSH 连接超时时间
-v, --version 版本信息
--wait-timeout uint 等待操作超时的时间
-y, --yes 跳过所有的确认步骤略
dpkg --print-architecture
amd64 --> amd64
# 我这里使用的是 跨机房部署 TiDB 集群
tiup-cluster template --multi-dc > topology.yaml配置如下
```yaml
# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
# 运行 tidb cluster 用户.
user: "tidb"
# group用于指定用户所属的组名，如果它与user不同的话。
# group: "tidb"
# 受管集群中服务器的SSH端口。
ssh_port: 22
# 集群部署文件、启动脚本和配置文件的存储目录。
deploy_dir: "/tidb-deploy"
# 集群数据存储目录
data_dir: "/tidb-data"
# 支持的系统值， "amd64" || "arm64" (default: "amd64")
arch: "amd64"
# 所有机器监控设置
monitored:
# 用于报告TiDB集群中每个节点的系统信息的通信端口。
node_exporter_port: 9100
# Blackbox_exporter通信端口，用于TiDB集群端口监控
blackbox_exporter_port: 9115
# 监控组件的部署文件、启动脚本和配置文件的存储目录
deploy_dir: "/tidb-deploy/monitored-9100"
# 监控组件的数据存储目录
data_dir: "/tidb-data/monitored-9100"
# 监控组件的日志存储目录
log_dir: "/tidb-deploy/monitored-9100/log"
# 全局服务配置
server_configs:
tidb:
log.level: debug
log.slow-query-file: tidb-slow.log
log.slow-threshold: 300
tikv:
# gRPC消息的压缩算法
server.grpc-compression-type: gzip
readpool.storage.use-unified-pool: true
readpool.storage.low-concurrency: 10
raftstore.raft-min-election-timeout-ticks: 1000
raftstore.raft-max-election-timeout-ticks: 1020
# tiflash:
# tiflash-learner:
pd:
# 标签级别设置
replication.location-labels: ["zone","host"]
# TiKV数据的副本数量
# replication.max-replicas: 3
# 禁止 leader 被安排到指定的标签地点。
# label-property:
# reject-leader:
# - key: "dc"
# value: "sha"
# 用于指定 PD 服务器的配置
pd_servers:
# PD 服务器地址
- host: 10.11.19.142
# 远程端口
# ssh_port: 22
# PD 服务器名字
name: "pd-1"
# TiDB服务器要连接的通信端口
client_port: 2379
# PD服务器节点之间的通信端口.
peer_port: 2380
# PD服务器部署文件、启动脚本、配置文件存储目录
deploy_dir: "/tidb-deploy/pd-2379"
# PD服务器数据存储目录
data_dir: "/tidb-data/pd-2379"
# PD服务器日志存储目录
log_dir: "/tidb-deploy/pd-2379/log"
# # numa节点绑定
# numa_node: "0,1"
# # The following configs are used to overwrite the `server_configs.pd` values.
# config:
# schedule.max-merge-region-size: 20
# schedule.max-merge-region-keys: 200000
- host: 10.11.19.143
# ssh_port: 22
name: "pd-2"
client_port: 2379
peer_port: 2380
deploy_dir: "/tidb-deploy/pd-2379"
data_dir: "/tidb-data/pd-2379"
log_dir: "/tidb-deploy/pd-2379/log"
# numa_node: "0,1"
# config:
# schedule.max-merge-region-size: 20
# schedule.max-merge-region-keys: 200000
- host: 10.11.19.144
# ssh_port: 22
name: "pd-3"
client_port: 2379
peer_port: 2380
deploy_dir: "/tidb-deploy/pd-2379"
data_dir: "/tidb-data/pd-2379"
log_dir: "/tidb-deploy/pd-2379/log"
# numa_node: "0,1"
# config:
# schedule.max-merge-region-size: 20
# schedule.max-merge-region-keys: 200000
# 服务器配置用于指定TiDB服务器的配置。
tidb_servers:
# TiDB 服务器 IP 地址
- host: 10.11.19.142
# 远程端口
# ssh_port: 22
# 访问TiDB集群端口
port: 4000
# TiDB服务器状态信息报告端口
status_port: 10080
# TiDB服务器部署文件，启动脚本，配置文件存储目录。
deploy_dir: "/tidb-deploy/tidb-4000"
# TiDB服务器日志文件存储目录
log_dir: "/tidb-deploy/tidb-4000/log"
- host: 10.11.19.143
ssh_port: 22
port: 4000
status_port: 10080
deploy_dir: "/tidb-deploy/tidb-4000"
log_dir: "/tidb-deploy/tidb-4000/log"
- host: 10.11.19.144
ssh_port: 22
port: 4000
status_port: 10080
deploy_dir: "/tidb-deploy/tidb-4000"
log_dir: "/tidb-deploy/tidb-4000/log"
# # Server configs are used to specify the configuration of TiKV Servers.
tikv_servers:
# TiKV 服务器IP地址
- host: 10.11.19.142
# 远程SSH端口
# ssh_port: 22
# TiKV 服务器通信端口
port: 20160
# 用于报告TiKV服务器状态的通信端口
status_port: 20180
# TiKV服务器部署文件，启动脚本，配置文件存储目录。
deploy_dir: "/tidb-deploy/tikv-20160"
# TiKV 服务器数据存储目录
data_dir: "/tidb-data/tikv-20160"
# TiKV 服务器日志文件存储目录
log_dir: "/tidb-deploy/tikv-20160/log"
# 以下配置用于覆盖 "server_configs.tikv" 值。
config:
server.labels:
zone: us
host: us-host
# # The ip address of the TiKV Server.
- host: 10.11.19.143
# ssh_port: 22
port: 20160
status_port: 20180
deploy_dir: "/tidb-deploy/tikv-20160"
data_dir: "/tidb-data/tikv-20160"
log_dir: "/tidb-deploy/tikv-20160/log"
config:
server.labels:
zone: cn
host: cn-host
- host: 10.11.19.144
# ssh_port: 22
port: 20160
status_port: 20180
deploy_dir: "/tidb-deploy/tikv-20160"
data_dir: "/tidb-data/tikv-20160"
log_dir: "/tidb-deploy/tikv-20160/log"
config:
server.labels:
zone: flb
host: flb-host
# 服务器配置用于指定Prometheus服务器的配置。
monitoring_servers:
# Prometheus 服务器IP
- host: 10.11.19.142
# 远程端口
# ssh_port: 22
# Prometheus 服务器通信端口.
port: 9090
# ng-监控服务通信端口
ng_port: 12020
# Prometheus 部署文件，启动脚本，配置文件存储目录。
deploy_dir: "/tidb-deploy/prometheus-8249"
# Prometheus 服务器存储目录.
data_dir: "/tidb-data/prometheus-8249"
# Prometheus 服务器日志存储目录.
log_dir: "/tidb-deploy/prometheus-8249/log"
# Grafana服务器的配置。
grafana_servers:
# Grafana 服务器IP
- host: 10.11.19.142
# 远程端口
# ssh_port: 22
# Grafana Web服务客户端(浏览器)访问端口
port: 3000
# Grafana部署文件，启动脚本，配置文件存储目录
deploy_dir: /tidb-deploy/grafana-3000
# Alertmanager服务器的配置
alertmanager_servers:
# Alertmanager 服务器IP
- host: 10.11.19.142
# 远程端口
# ssh_port: 22
# Alertmanager Web 服务客户端(浏览器)访问端口
web_port: 9093
# Alertmanager 通信端口
cluster_port: 9094
# Alertmanager 部署文件、启动脚本、配置文件存储目录
deploy_dir: "/tidb-deploy/alertmanager-9093"
# Alertmanager 服务器数据存放目录
data_dir: "/tidb-data/alertmanager-9093"
# Alertmanager 服务器日志存放目录
log_dir: "/tidb-deploy/alertmanager-9093/log"
tiup cluster check ./topology.yaml --user root [-p] [-i /home/root/.ssh/gcp_rsa]tiup cluster check ./topology.yaml --apply --user root [-p] [-i /home/root/.ssh/gcp_rsa]
# [-i /home/root/.ssh/gcp_rsa] # 指定密钥的方式tidb-test: 自定义集群名字
v7.1.0: Tidb 版本
tiup cluster deploy <cluster-name> <cluster-version> ./topology.yaml --user root [-p] [-i /home/root/.ssh/gcp_rsa]# 安全启动方式： --init ， 不能通过无密码的 root 用户登录数据库，你需要记录命令行返回的密码进行后续操作
tiup cluster start <cluster-name> --init
tiup cluster listtiup cluster display <cluster-name>对 TiKV、TiFlash 及 Binlog 组件的操作
停止已经下线掉的节点的服务
清理已经下线掉的节点的相关数据文件
更新集群的拓扑，移除已经下线掉的节点
对其他组件的操作
下线 PD 组件时，会通过 API 将指定节点从集群中删除掉（这个过程很快），然后停掉指定 PD 的服务并且清除该节点的相关数据文件
下线其他组件时，直接停止并且清除节点的相关数据文件
参考: https://docs.pingcap.com/zh/tidb/dev/scale-tidb-using-tiup
编写扩容拓扑配置
可以使用 tiup cluster edit-config 查看当前集群的配置信息，因为其中的 global 和 server_configs 参数配置默认会被 scale-out.yml 继承，因此也会在 scale-out.yml 中生效。
# scale-out.yml
tidb_servers:
- host: 10.11.19.146
#ssh_port: 22
port: 4000
status_port: 10080
deploy_dir: /tidb-deploy/tidb-4000
log_dir: /tidb-deploy/tidb-4000/log
tikv_servers:
- host: 10.11.19.146
#ssh_port: 22
port: 20160
status_port: 20180
deploy_dir: /tidb-deploy/tikv-20160
data_dir: /tidb-data/tikv-20160
log_dir: /tidb-deploy/tikv-20160/log
pd_servers:
- host: 10.11.19.146
#ssh_port: 22
name: pd-4
client_port: 2379
peer_port: 2380
deploy_dir: /tidb-deploy/pd-2379
data_dir: /tidb-data/pd-2379
log_dir: /tidb-deploy/pd-2379/log
执行扩容命令
# 检查集群存在的潜在风险
tiup cluster check <cluster-name> scale-out.yml --cluster --user root [-p] [-i /home/root/.ssh/gcp_rsa]
# 自动修复集群存在的潜在风险
tiup cluster check <cluster-name> scale-out.yml --cluster --apply --user root [-p] [-i /home/root/.ssh/gcp_rsa]
# 执行 scale-out 命令扩容 TiDB 集群
tiup cluster scale-out <cluster-name> scale-out.yaml --user root -p正常缩容
# 查看 tidb-test 集群
[admin@es1 ~]$ tiup cluster display tidb-test
tiup is checking updates for component cluster ...
Starting component `cluster`: /home/admin/.tiup/components/cluster/v1.12.2/tiup-cluster display tidb-test
Cluster type: tidb
Cluster name: tidb-test
Cluster version: v7.1.0
Deploy user: tidb
SSH type: builtin
Dashboard URL: http://10.11.19.142:2379/dashboard
Grafana URL: http://10.11.19.142:3000
ID Role Host Ports OS/Arch Status Data Dir Deploy Dir
-- ---- ---- ----- ------- ------ -------- ----------
10.11.19.142:9093 alertmanager 10.11.19.142 9093/9094 linux/x86_64 Up /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093
10.11.19.142:3000 grafana 10.11.19.142 3000 linux/x86_64 Up - /tidb-deploy/grafana-3000
10.11.19.142:2379 pd 10.11.19.142 2379/2380 linux/x86_64 Up|UI /tidb-data/pd-2379 /tidb-deploy/pd-2379
10.11.19.143:2379 pd 10.11.19.143 2379/2380 linux/x86_64 Up /tidb-data/pd-2379 /tidb-deploy/pd-2379
10.11.19.144:2379 pd 10.11.19.144 2379/2380 linux/x86_64 Up|L /tidb-data/pd-2379 /tidb-deploy/pd-2379
10.11.19.146:2379 pd 10.11.19.146 2379/2380 linux/x86_64 Up /tidb-data/pd-2379 /tidb-deploy/pd-2379
10.11.19.142:9090 prometheus 10.11.19.142 9090/12020 linux/x86_64 Up /tidb-data/prometheus-8249 /tidb-deploy/prometheus-8249
10.11.19.142:4000 tidb 10.11.19.142 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
10.11.19.143:4000 tidb 10.11.19.143 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
10.11.19.144:4000 tidb 10.11.19.144 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
10.11.19.146:4000 tidb 10.11.19.146 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
10.11.19.142:20160 tikv 10.11.19.142 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
10.11.19.143:20160 tikv 10.11.19.143 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
10.11.19.144:20160 tikv 10.11.19.144 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
10.11.19.146:20160 tikv 10.11.19.146 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
# 执行缩容
tiup cluster scale-in tidb-test --node 10.11.19.146:20160 --node 10.11.19.146:4000 --node 10.11.19.146:2379
---
There are some nodes can be pruned:
Nodes: [10.11.19.146:20160]
You can destroy them with the command: `tiup cluster prune tidb-test`
---
# 如果过了很久都没有消失，可以手动执行： tiup cluster prune tidb-test 清除 Tombstone 的节点信息版本: v7.1.0
集群: tidb-test
正常切换
通信正常情况下(直接切换)
# 中控机执行
tiup cluster display tidb-test # 查看 CLUSTER_VERSION 版本，例如: Cluster version: v7.1.0
tiup ctl:v7.1.0 pd -u http://<原PD:2379> config set dashboard-address http://<新PD:2379>故障切换
先禁用 TiDB Dashboard
重新启用 TiDB Dashboard
# 中控机执行, 禁用 TiDB Dashboard
tiup ctl:v7.1.0 pd -u http://10.11.19.142:2379 config set dashboard-address none
# 重新查看
tiup cluster display tidb-test --dashboard
# 自动选举 <重新启用 TiDB Dashboard>
tiup ctl:v7.1.0 pd -u http://<任意PD节点>:2379 config set dashboard-address auto
# 允许指定节点 <重新启用 TiDB Dashboard>
tiup ctl:v7.1.0 pd -u http://<任意PD节点>:2379 config set dashboard-address http://<指定PD>:2379注意: 若新启用的 TiDB Dashboard 实例与禁用前的实例不一致，将会丢失之前 TiDB Dashboard 实例所存储的本地数据，包括流量可视化历史、历史搜索记录等。
为 root 用户设置强密码
为 TiDB Dashboard 创建最小权限用户
用防火墙阻止不可信访问
通过反向代理使用 TiDB Dashboard
# 例如: PD WEB UI 地址: http://192.168.0.123:2379/dashboard/
server {
listen 8033;
location /dashboard/ {
proxy_pass http://192.168.0.123:2379/dashboard/;
}
}建议 root 强密码，防火墙配置
# 安装
tiup install br:v7.1.0
# 升级
tiup update br:v7.1.0配置备份存储 (Amazon S3)
1、在 S3 创建用于保存备份数据的目录 s3://tidb-pitr-bucket/backup-data
创建 bucket: tidb-pitr-bucket
创建备份数据总目录: backup-data
2、配置 br 命令行工具和 TiKV 访问 S3 中的备份目录的权限
备份集群的 TiKV 和 br 命令行工具需要的 s3://<桶名>/<文件夹> 权限
s3:ListBucket
s3:PutObject
3、规划备份数据保存的目录结构，以及快照（全量）备份和日志备份的目录。
所有快照备份保存在 s3://tidb-pitr-bucket/backup-data/snapshot-${date} 目录下，${date} 为快照备份开始的时间点，如在 2022/05/12 00:01:30 开始的快照备份保存为 s3://tidb-pitr-bucket/backup-data/snapshot-20220512000130。
日志备份保存在 s3://tidb-pitr-bucket/backup-data/log-backup/ 目录下。
tiup br backup full -u "${PD_IP}:2379" \
--storage "s3://external/backup-20220915?access-key=${access-key}&secret-access-key=${secret-access-key}"tiup br restore full -u "${PD_IP}:2379" \
--storage "s3://external/backup-20220915?access-key=${access-key}&secret-access-key=${secret-access-key}"AWS参考格式: URL格式参考: https://docs.pingcap.com/zh/tidb/stable/backup-and-restore-storages
运行日志备份，持续不断备份数据库数据变更；
每隔两天在零点左右进行一次快照备份；
保存 30 天内的快照备份和日志备份数据，清理超过 30 天的备份数据。
1、执行日志备份(必须)
结合快照备份，可以恢复到历史指定时间点的用户数据
日志备份持续不断将数据库变更数据备份到 S3 中，(实测默认是间隔2分30秒左右)
# 启动日志备份任务后，日志备份进程会在 TiKV 集群运行，持续不断将数据库变更数据备份到 S3 中。
# task-name: 自定义名字
tiup br log start --task-name=${task-name} --pd="${PD_IP}:2379" \
--storage="s3://tidb-pitr-bucket/backup-data/log-backup?access-key=${access-key}&secret-access-key=${secret-access-key}"
# 查看所有任务
tiup br log status --pd="${PD_IP}:2379"
# 查看某一个任务
tiup br log status --task-name=${task-name} --pd="${PD_IP}:2379"2、执行快照备份(必须)
可以借助 Contab 定时任务做备份
# PD_IP: PD 服务IP地址
# TIME_NOW_STR1: S3备份文件夹名字
# TIME_NOW_STR2: 时间点
# ACCESS_KEY: S3 access_key
# SECRET_ACCESS_KEY: S3 密钥
PD_IP="10.11.19.142"
TIME_NOW_STR1=`date +%Y%m%d%H%M%S`
TIME_NOW_STR2=`date +%F\ %T`
ACCESS_KEY="AKIASFD2HMQ7LSDXZ6H2"
SECRET_ACCESS_KEY="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"
tiup br backup full --pd="${PD_IP}:2379" \
--storage="s3://tidb-pitr-bucket/backup-data/snapshot-${TIME_NOW_STR1}?access-key=${ACCESS_KEY}&secret-access-key=${SECRET_ACCESS_KEY}" \
--backupts="${TIME_NOW_STR2}"
# 可根据 echo $? 做执行快照备份成功判断恢复的时候需要先暂停日志备份任务
# 假如只有一个 pitr 日志备份任务正在运行, 先暂停，再执行恢复
tiup br log status --pd="{PD_IP}:2379"
tiup br log stop --task-name=pitr --pd="{PD_IP}:2379"恢复指定快照日期
# 快照日期
SNAPSHOT_TIME="202209150000"
tiup br restore full -u "${PD_IP}:2379" \
--storage "s3://tidb-pitr-bucket/backup-data/snapshot-${SNAPSHOT_TIME}?access-key=${access-key}&secret-access-key=${secret-access-key}"执行 PITR(恢复到指定时间位置)
假设你接到需求，要准备一个(新)集群查询 2022/05/15 18:00:00 时间点的用户数据。
此时，你可以制定 PITR 方案，恢复 2022/05/14 的快照备份和该快照到 2022/05/15 18:00:00 之间的日志备份数据，从而收集到目标数据。
# 1、恢复 2022-05-14 00:00:00 快照备份
# 2、该快照到 2022-05-15 18:00:00 之间的日志备份数据，从而收集到目标数据
S3_DIR_TIME="20220514000000"
RESTORE_TIME="2022-05-15 18:00:00+0800"
tiup br restore point --pd="${PD_IP}:2379" \
--storage='s3://tidb-pitr-bucket/backup-data/log-backup' \
--full-backup-storage="s3://tidb-pitr-bucket/backup-data/snapshot-${S3_DIR_TIME}?access-key=${access-key}&secret-access-key=${secret-access-key}" \
--restored-ts ${RESTORE_TIME}官网更详细: https://docs.pingcap.com/zh/tidb/stable/br-pitr-manual#%E6%9F%A5%E8%AF%A2%E6%97%A5%E5%BF%97%E5%A4%87%E4%BB%BD%E4%BB%BB%E5%8A%A1
官网更详细： https://docs.pingcap.com/zh/tidb/stable/daily-check
1、MYSQL|TIDB 把数据先全量备份导出，sql 结尾文件
2、sql 文件导入到 TIDB 集群中
安装组件
# 中控机
tiup install dumpling tidb-lightningdumpling： 可以把存储在 TiDB 或 MySQL 中的数据导出为 SQL 或 CSV 格式，用于逻辑全量备份
filetype: sql/csv 两种类型
B: 备份指定数据库
t: 线程数
o: 存储路径
r: 指定单个文件的最大行数
F: 指定单个文件的最大大小，单位为 MiB，可接受类似 5GiB 或 8KB 的输入。
更多参考： https://docs.pingcap.com/zh/tidb/stable/dumpling-overview
Lightning： 是用于从静态文件导入 TB 级数据到 TiDB 集群的工具，常用于 TiDB 集群的初始化数据导入。
物理导入模式：快(100 ~ 500 GiB/小时)-->无法提供服务，常用于初始化导入
逻辑导入模式：慢(10 ~ 50 GiB/小时)-->可提供服务，常用于生产环境线上有数据
更多参考： https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-overview
注意： 如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中，建议将 -F 选项的值保持在 256 MiB 或以下 注意： 如果导出的单表大小超过 10 GB，强烈建议使用 -r 和 -F 参数。
导出数据
# 全量导出: 比如全量迁移 MYSQL 远程数据库的数据
tiup dumpling -h 10.11.19.247 -u root -p 123456 -P 3306 --filetype sql -t 8 -o /tmp/test -r 200000 -F256MiB
# 指定库导出: 比如远程服务器 MYSQL 数据库: fastapi ， 用户名/密码: fastapi/fastapi
tiup dumpling -h 10.11.19.247 -u fastapi -p fastapi -P 3306 -B fastapi --filetype sql -t 8 -o /tmp/test -r 200000 -F256MiB
# 导出到 Amazon S3 云盘
export Bucket="s3_bucket"
export Folder="back-data"
export AWS_ACCESS_KEY_ID="xxxx"
export AWS_SECRET_ACCESS_KEY="xxxx"
tiup dumpling -h 10.11.19.247 -u root -p 123456 -P 3306 -r 200000 -o "s3://${Bucket}/${Folder}?access-key=${AWS_ACCESS_KEY_ID}&secret-access-key=${AWS_SECRET_ACCESS_KEY}"导入数据
/tmp/test/ 刚刚导出的 sql 目录地址
配置 tidb-lightning.toml
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
# 选择使用的导入模式, local 物理导入模式， tidb 逻辑导入模式
backend = "tidb"
# 设置排序的键值对的临时存放地址，目标路径需要是一个空目录
sorted-kv-dir = "/tmp/ssd/sorted-kv-dir"
[mydumper]
# 源数据目录。
data-source-dir = "/tmp/test/"
# 配置通配符规则，默认规则会过滤 mysql、sys、INFORMATION_SCHEMA、PERFORMANCE_SCHEMA、METRICS_SCHEMA、INSPECTION_SCHEMA 系统数据库下的所有表
# 若不配置该项，导入系统表时会出现“找不到 schema”的异常
filter = ['*.*', '!mysql.*', '!sys.*', '!INFORMATION_SCHEMA.*', '!PERFORMANCE_SCHEMA.*', '!METRICS_SCHEMA.*', '!INSPECTION_SCHEMA.*']
[tidb]
# 目标集群的信息
host = "10.11.19.142"
port = 4000
user = "root"
password = "rootroot"
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "10.11.19.142:2379"启动 tidb-lightning
#!/bin/bash
nohup tiup tidb-lightning -config tidb-lightning.toml > nohup.out &
# 导入完毕后，TiDB Lightning 会自动退出。若导入成功，日志的最后一行会显示 tidb lightning exit。tiup dmctl --master-addr 10.11.19.141:8261 operate-source create source1.yaml
部署参考: https://docs.pingcap.com/zh/tidb-data-migration/v5.3/deploy-a-dm-cluster-using-tiup 具体迁移参考: https://docs.pingcap.com/zh/tidb-data-migration/v5.3/migrate-data-using-dm
DM 集群安装组件
tiup install dm dmctl编辑初始化配置文件
tiup dm template > dm.yaml
[admin@es1 ~]$ cat dm.yaml
# 这里没有使用高可用集群方式
---
global:
user: "tidb"
ssh_port: 22
deploy_dir: "/home/tidb/dm/deploy"
data_dir: "/home/tidb/dm/data"
# arch: "amd64"
master_servers:
- host: 10.11.19.141
执行部署命令
# tiup list dm-master 来查看 TiUP 支持的最新版本。
tiup dm deploy dm-test ${version} ./dm.yaml --user root [-p] [-i /home/root/.ssh/gcp_rsa]
# 预期日志结尾输出会有 Deployed cluster `dm-test` successfully 关键词，表示部署成功。检查
tiup dm list # 查看 TiUP 管理的集群情况
tiup dm display dm-test # 检查部署的 DM 集群情况
tiup dm start dm-test # 启动集群
tiup dm display dm-test # 验证集群运行状态恢复集群的 TiKV 和 br 命令行工具需要 s3://<桶名>/<文件夹> 的最小权限
s3:ListBucket
s3:GetObject
s3:PutObject。