DuuCloud.com-IT工程师的文库之家一路伴随成长
PolarDB 分布式数据库的发展方向
楼江航
DuuCloud.com-IT工程师的文库之家Contents
目录
01 分布式的业务背景
02 PolarDB 分布式的架构和演进
03 PolarDB 分布式 的未来规划
DuuCloud.com-IT工程师的文库之家分布式的业务背景
01
DuuCloud.com-IT工程师的文库之家用户对于分布式的认知 / 诉求
高可用 & 容灾
分布式一致性协议
跨机房、异地容灾能力
分布式的线性扩展
数据大集中、核心服务化业务，需要支持高并发 + 大容量
分步式按需进行扩缩容 + 数据压缩，满足降本增效
降低故障的爆炸半径
分布式多节点 ，避免单节点故障影响全局
分布式数据分区，满足单元化业务适配
HTAP 实时数据分析
分布式 + 列存引擎，提供 OLAP 的快速分析
历史数据归档，提供在线数据查询和分析能力
DuuCloud.com-IT工程师的文库之家用户对于分布式的槽点
使用门槛高
分布式的最佳实践，不同于集中式
生态不够完善
过渡依赖原厂、自建生态，无法复用原有
MySQL/PG 等开源社区
资源成本大
分布式组件多 ，以及依赖大内存 /SSD 等硬件
DuuCloud.com-IT工程师的文库之家PolarDB 分布式的架构和演进
02
DuuCloud.com-IT工程师的文库之家PolarDB 分布式的发展历程
持续 12 年围绕 MySQL 生态，持续迭代数据库技术
PolarDB - X 0.5
(TDDL + AliSQL )
PolarDB - X 1.0
(DRDS + RDS)
PolarDB - X 2.0
(云原生分布式数据库 )
• 2009 年集团去 IOE
• 2011 年 7 月 TDDL+ALISQL 实现商品库去 O
• 2012 年首次承载双 11 ，迎接零点峰值
• 2013 年集团完成去 IOE ， TDDL 成为集团业务接入标
准
• 2015 年，产品研发和公测
• 2016 年，国内第一家落地分布式技术的云服务
• 2017~2019 年，国家税务、国家路网等基础设施系统上线
• 2020 年，正式发布 PolarDB -X 2.0 ，融合 Paxos 等核心技术
• 2021 年， 全内核开源 ，保持半年一个版本更新
• 2023 年，支撑大型金融、证券、电网等核心系统上线
DuuCloud.com-IT工程师的文库之家PolarDB 分布式数据库架构
元数据服务（ Global Meta Service ，
GMS ）
• 提供全局授时服务 (TSO)
• 维护 Table/Schema 、 Statistic 等 Meta 信息
• 维护账号、权限等安全信息
存储节点 （ Date Node ， DN ）
• 基于多数派 Paxos 共识协议的高可靠存储
• 处理分布式 MVCC 事务的可见性判断
列存节点 （ Columnar ， CR ）
• 提供表级的列存副本，满足行列混存
计算节点（ Compute Node ， CN ）
• 基于无状态的 SQL 引擎提供分布式路由和计算
• 处理分布式事务的 2PC 协调、全局索引维护等
日志节点（ Change Data Capture ， CDC ）
• 提供兼容 MySQL 生态的 binlog 协议和数据格式
• 提供兼容 MySQL Replication 主从复制的交互
PolarDB -X
Application
via
MySQL
Protocol
Ecosystem
Data
Warehouse
BI
Big Data
CDC Cluster
CDC
CDC
GMS Cluster
GMS
GMS GMS
TSO /Topology
MetaData
Topology
DN Cluster
async
…
DN
DN
DN
Columnar
Columnar
Columnar Cluster
CN
CN
CN
…
CN Cluster
DuuCloud.com-IT工程师的文库之家PolarDB 分布式数据库架构
原生分布式
分布式事务，全局二级索引
金融级容灾
Paxos 一致性协议，支持两地三中心
降本增效
HTAP 一体化、历史数据自动归档存储
高性能
集中分布式一体化，优化分布式事务
集中分布式一体化 + HTAP 行列混存
根据业务规模调整部署形态，可大可小
单机集中式到大规模分布式平滑升级
集中式形态
DB
分布式形态
DB DB DB
本地磁盘 本地磁盘 本地磁盘 本地磁盘
DuuCloud.com-IT工程师的文库之家“ 分布式数据库 ，高可用是底座 ”
DuuCloud.com-IT工程师的文库之家金融级高可用 ~ DN 多副本
基于 X - Paxos 协议优化 MySQL 主备架构，满足 RPO=0
Consensus Log
（合并 Binary Log ）
data
Changes
Leader
Follower
Consensus Log
（合并 Relay Log ）
Write
Consensus
I/O Thread
SQL
Thread
Read
Repla
y
Follower
Consensus Log
（合并 Relay Log ）
Write Consensus
I/O Thread
SQL
Thread
Read
Replay
Paxos
多数派同步
自研 X - Paxos 协议库
Leader
Follower Logger
X -Paxos
Learner
DuuCloud.com-IT工程师的文库之家金融级高可用 ~ DN 多副本
DuuCloud.com-IT工程师的文库之家使用 2 份数据副本 +1 份日志副本，达成多数派协议
跨机房高可用 ~ 同城 1AZ/3AZ
Follower
Leader
Logger
AZ1 AZ1 AZ2 AZ3
Leader Follower Logger
AZ X
Learner
...
1AZ 在线变更 3AZ
只读副本
（ AZ 可选）
副本跨机房重建 同城延迟 ~1ms
离线流量
DuuCloud.com-IT工程师的文库之家跨地域高可用 ~ 两地三中心 5 副本
基于分布式多分片 + 业务单元化，减少故障的爆炸半径
机房 C 机房 A 机房 B
同城延迟 ~1ms 异地延迟 ~30ms
异地数据中心 主数据中心
Follo
PolarDB开发者大会：PolarDB分布式数据库发展方向.pdf