云原生实时湖仓 AnalyticDB MySQL版新特性介绍.pdf

云原生 实时 湖仓 AnalyticDB MySQL 版 新特性介绍 戚亚东（才云） AnalyticDB MySQL 版产品负责人 高级产品专家 Contents 目录 01 业务挑战和产品定位 02 做深自研能力 03 拥抱开源能力 业务挑战和产品定位 01 数据多杂散 高峰期查询频繁 大查询干扰小查询 业务挑战 云原生实时湖仓，毫秒级更新 & 洞察，打破湖仓孤岛，数据库的易用，大数据的规模 处理 / 分析一体化 数据源 抽取 / 传输 加工 / 转换 存储 分析 / 输出 数据库 日志数据 IoT 数据 … 消费端 即席分析 数据应用 运营 报表 产品定位 产品架构 ｜用：高度兼容 MySQL ｜采：数据管道 ｜算：自研 MPP + 开源 BSP • 高度兼容 MySQL 5.6/5.7/8.0 协议 、类型、语法 • 使用弹性资源，高效接入主流的数据源（ SLS/Kafka/DB 等）， 无需再依赖其它工具。 • 自 研 MPP 引擎 TPC - DS 权威性能测评全球第一 • 集成 & 优化开源 Spark 引擎，性能提升 2.7 倍 ｜存：高效索引 + 冷热分层 • 默认采用全列索引，高效过滤，提升查询性能 • 数据根据使用频率进行冷热分层，降低存储成本 ｜管：统一元数据 • 内部存储和外部存储用统一元数据进行管理 OSS 内部存储 自研在线 MPP 引擎 自研离线 BSP 引擎 外部存储 Storage API OpenAPI JDBC （ MySQL 协议） 存储层 计算层 接入层 数据库 (RDS/ PoralDB ) 日志 (OSS/Kakfa/SLS) 数据管道 APS 大数据 （ MC/EMR ） 数据源 统一元数据 /权限 管理层 采 存 算 管 用 开源 Spark 引擎 全量数据层 实时数据层 做深自研能力 0 2 Multi - Cluster 弹性模型：线性提升 QPS 分析师数量 时间 9 点 18 点 0 点 24 点 12 点 • 分析负载存在波峰波谷：上班期间分析负载较高，下班后负载较低 • 每个分析师都希望自己的 SQL 不被其它分析师的 SQL 所影响，尤其是大 SQL ｜业务挑战 Multi - Cluster 弹性模型：线性提升 QPS ｜两种弹性模型 Min <-- > Max Auto -scaling Min -Max 弹性模型 ETL 场景：大 SQL 、 QPS 较低 交互式场景：中小 SQL 、 QPS 较高 ｜弹性预测机制 基于实例的 CPU/ 内存负载、查询排队、查询并发数等指标，自动进行 Cluster 弹性伸缩 ｜ QPS 效果测试 • 3倍 弹性资源时， Multi -Cluster 弹性模型相比 Min -Max 弹性模型， QPS 提升 11% • 4-5倍 弹性资源时， Multi -Cluster 弹性模型相比 Min -Max 弹性模型， QPS 提升 26% ～ 28% Cluster 1 resize Auto -scaling Clust