PolarDB for PostgreSQL 采用基于共享存储的存算分离架构,其备份恢复和 PostgreSQL 存在部分差异。
备份恢复原理
PostgreSQL 的备份流程可以总结为以下几步:
进入备份模式
强制进入 Full Page Write 模式,并切换当前的 WAL segment 文件
在数据目录下创建 backup_label 文件,其中包含基础备份的起始点位置
备份的恢复必须从一个内存数据与磁盘数据一致的检查点开始,所以将等待下一次检查点的到来,或立刻强制进行一次 CHECKPOINT
备份数据库:使用文件系统级别的工具进行备份
退出备份模式
重置 Full Page Write 模式,并切换到下一个 WAL segment 文件
创建备份历史文件,包含当前基础备份的起止 WAL 位置,并删除 backup_label 文件
备份 PostgreSQL 数据库最简便方法是使用 pg_basebackup 工具。
数据目录结构
PolarDB for PostgreSQL 采用基于共享存储的存算分离架构,其数据目录分为以下两类:
本地数据目录:位于每个计算节点的本地存储上,为每个计算节点私有
共享数据目录:位于共享存储上,被所有计算节点共享
由于本地数据目录中的目录和文件不涉及数据库的核心数据,因此在备份数据库时,备份本地数据目录是可选的。可以仅备份共享存储上的数据目录,然后使用 initdb 重新生成新的本地存储目录。但是计算节点的本地配置文件需要被手动备份,如 postgresql.conf、pg_hba.conf 等文件。
本地数据目录
通过以下 SQL 命令可以查看节点的本地数据目录:
postgres=# SHOW data_directory;
data_directory
------------------------
/home/postgres/primary
(1 row)
本地数据目录类似于 PostgreSQL 的数据目录,大多数目录和文件都是通过 initdb 生成的。随着数据库服务的运行,本地数据目录中会产生更多的本地文件,如临时文件、缓存文件、配置文件、日志文件等。其结构如下:
$ tree ./ -L 1
./
├── base
├── current_logfiles
├── global
├── pg_commit_ts
├── pg_csnlog
├── pg_dynshmem
├── pg_hba.conf
├── pg_ident.conf
├── pg_log
├── pg_logical
├── pg_logindex
├── pg_multixact
├── pg_notify
├── pg_replslot
├── pg_serial
├── pg_snapshots
├── pg_stat
├── pg_stat_tmp
├── pg_subtrans
├── pg_tblspc
├── PG_VERSION
├── pg_xact
├── polar_cache_trash
├── polar_dma.conf
├── polar_fullpage
├── polar_node_static.conf
├── polar_rel_size_cache
├── polar_shmem
├── polar_shmem_stat_file
├── postgresql.auto.conf
├── postgresql.conf
├── postmaster.opts
└── postmaster.pid
21 directories, 12 files
共享数据目录
通过以下 SQL 命令可以查看所有计算节点在共享存储上的共享数据目录:
postgres=# SHOW polar_datadir;
polar_datadir
-----------------------
/nvme1n1/shared_data/
(1 row)
共享数据目录中存放 PolarDB for PostgreSQL 的核心数据文件,如表文件、索引文件、WAL 日志、DMA、LogIndex、Flashback Log 等。这些文件被所有节点共享,因此必须被备份。其结构如下:
$ sudo pfs -C disk ls /nvme1n1/shared_data/
Dir 1 512 Wed Jan 11 09:34:01 2023 base
Dir 1 7424 Wed Jan 11 09:34:02 2023 global
Dir 1 0 Wed Jan 11 09:34:02 2023 pg_tblspc
Dir 1 512 Wed Jan 11 09:35:05 2023 pg_wal
Dir 1 384 Wed Jan 11 09:35:01 2023 pg_logindex
Dir 1 0 Wed Jan 11 09:34:02 2023 pg_twophase
Dir 1 128 Wed Jan 11 09:34:02 2023 pg_xact
Dir 1 0 Wed Jan 11 09:34:02 2023 pg_commit_ts
Dir 1 256 Wed Jan 11 09:34:03 2023 pg_multixact
Dir 1 0 Wed Jan 11 09:34:03 2023 pg_csnlog
Dir 1 256 Wed Jan 11 09:34:03 2023 polar_dma
Dir 1 512 Wed Jan 11 09:35:09 2023 polar_fullpage
File 1 32 Wed Jan 11 09:35:00 2023 RWID
Dir 1 256 Wed Jan 11 10:25:42 2023 pg_replslot
File 1 224 Wed Jan 11 10:19:37 2023 polar_non_exclusive_backup_label
total 16384 (unit: 512Bytes)