PolarDB for PostgreSQL 开源必读手册.pdf

DuuCloud.com-IT工程师的文库之家封面页 （此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿PDF版中做更新） DuuCloud.com-IT工程师的文库之家 钉钉扫码加入 PolarDB 开源技术交流群 阿里云开发者“藏经阁” 海量电子手册免费下载 DuuCloud.com-IT工程师的文库之家目录 开源PolarDB for PostgreSQL 架构介绍 ..................................................... 4 PolarDB 安装与配置 ........................................................................\ ...... 14 PolarDB 数据库结构 ........................................................................\ ...... 21 Foreign Data Wrappers（FDW）使用介绍 .............................................. 35 用户和权限管理 ........................................................................\ ............ 47 VACUUM 处理 ........................................................................\ .............. 65 缓冲区管理器 ........................................................................\ ............... 75 备份与恢复 ........................................................................\ ................... 82 共享存储原理与实践 ........................................................................\ ...... 95 云原生 HTAP ........................................................................\ .............. 108 最佳场景实践与压测 ........................................................................\ .... 120 DuuCloud.com-IT工程师的文库之家 开源PolarDB for PostgreSQL 架构介绍 4 开源PolarDB for PostgreSQL 架构介绍 一、 PolarDB 总体架构设计 传统数据库的部署方式，有主库、备库和 Standby，主备库之间通过流复制进行同 步。节点扩展时，需要将数据全部进行复制，速度极慢。另外，主备之间复制一般 使用异步复制，可能存在数据丢失。主备之间存在延迟，因此可用性较差。此外， 随着副本数的增加，存储成本呈线性增加。 针对以上问题，PolarDB 实现了计算存储分离架构。 DuuCloud.com-IT工程师的文库之家 开源PolarDB for PostgreSQL 架构介绍 5 在PolarDB 架构中，共有三个节点，其中一个读写节点，两个只读节点。存储数据 时，通过网络存储到后端存储池。 该架构具有四个优势： 第一， 扩展性较好。计算能力不足时，只需简单操作即可增加计算节点。因为数据 存储在共享存储上，无需再做一次复制。且计算节点无状态，扩展快。而当 计算资源过多时，可以将三个节点迅速缩为两个节点。 第二， 成本低。多个计算节点共享一份数据，存储成本显著下降。传统数据库有 N 个备库，数据需要复制 N份。而存储计算分离架构下，数据只需在共享存储 上存储一份即可。 第三， 易用性。存储计算分离架构的存储池技术相对较成熟，保证了数据不会丢失。 计算侧每一个节点都能看到完整的数据库状态，使用体验接近于单机数据库。 第四， 可靠性。由于共享存储具备了三副本以及秒级备份等特性，其可靠性也得到 了保障。 PolarDB 计算存储分离的模块栈分为四层。 DuuCloud.com-IT工程师的文库之家 开源PolarDB for PostgreSQL 架构介绍 6 • 事务层：除了原生事务，还实现了 CSN快照。 • 日志层：主库将 WAL日志写到共享存储上，备库无需再做一次流复制，从共享 存储上读取日志即可。此外还实现了 lazy回放、并行回放和 LogIndex等核心 数据结构。 • 缓存层：实现了常驻 BufferPool，节点重启时，buffer 数据无需重新预热。另 外，实现了多版本页面，解决了 fullpage问题。 • 存储层：实现了 Direct IO、数据预读、预扩展以及抽象了 PolarVFS文件系统接 口。 PolarDB 除了实现计算存储分离架构，还实现了 HTAP架构。 PolarDB1.0 计算存储分离时，可以通过读写分离将 TP事务型查询均匀地打散到不 同节点上。但该架构在处理 AP型查询时存在一些问题，因为查询只能在计算节点 上处理，无法发挥多个计算节点的能力。 DuuCloud.com-IT工程师的文库之家 开源PolarDB for PostgreSQL 架构介绍 7 因此，PolarDB 在存储计算分离架构上进一步实现了 HTAP架构。如图中所示，在 计算层实现了分布式并行计算引擎。任何一个计算节点均支持单机查询引擎，也支 持分布式并行计算查询引擎。 如上图， 最左侧节点可用于处理单机 TP型查询，用户可将业务中所