阿里云实时数仓Hologres技术揭秘2.0.pdf

1 2 序言 姜伟华（果贝） 阿里巴巴资深技术专家 实时数仓Hologres负责人 互联网数字商业的核心是“千人千面”，通过个性化推荐 及商品排序，消费者可以看到自己最感兴趣、最适合的商 品，同时每一位商家，无论大小，都需要精准地了解消费 者的兴趣分布、业务指标、广告效果、实时账单等核心商 业数据，辅助更精准、更实时的商业决策。智能化背后对 数据的时效性和灵活性提出巨大的挑战，消费者跟平台的 每个触点都需要被数字化、实时化。 随着企业数字化转型的加速，背后的技术系统也在不断的 演进。传统上，离线数仓、流式计算、数据服务层共同组 成了大数据处理的标准架构：Lambda架构。Lambda架 构虽然提供了实时数据的服务（Serving）能力，但它开 发复杂、数据冗余、分析（OLAP）不便。近年来，在OLAP领域，以ClickHouse、Apache Doris、阿里Hologres等为代表的实时数仓兴起，通过实时写入明细数据+灵活交互式查询在 OLAP领域实现了去Lambda架构，在实时性、灵活性、成本、管理和运维等多方面都达到了 较好的平衡。 分析服务一体化（Hybrid Serving/Analytics Processing，以下简称HSAP）是Hologres所 倡导的新一代实时数仓能力。通过一套技术栈，Hologres能用一份数据完成OLAP分析和线 上服务（Serving）两种业务类型，从而实现了技术统一、数据规范无冗余、开发简化与成本 降低，并广泛应用于各种应用场景，成为智能化的核心底层能力。 2021年是实时数仓Hologres诞生的第5年，并以11.2亿条/秒的高速写入，和1.1亿次/秒的查 询峰值（包含点查和OLAP查询）稳定高效地支撑了阿里巴巴双11核心应用场景，这也证明实 时数仓技术已经开始从幕后走到台前，支撑起更多的在线生产系统，并在性能、稳定性、高 可用性等方面经受住了严苛的考验。 各行各业的数字化，离不开核心的大数据系统的创新和演进。通过存储、计算、调度领域的 一系列技术创新，Hologres提出的实时数仓“服务分析一体化”（HSAP）概念，将会彻底激 发大数据的潜能，走入千万家企业，助力企业实现数字化的升级。 3 目录 大数据的下一站是什么？ 大数据的下一站是什么？服务分析一体化(HSAP) --------6 1 Hologres查询引擎 深度解析高效率分布式查询引擎 --------44 5 云原生HSAP落地Hologres技术揭秘 首次公开！阿里巴巴云原生实时数仓核心技术揭秘 --------24 3 实时数仓发展趋势 从阿里核心场景看数仓发展趋势 --------14 2 Hologres在线服务（点查）场景 如何支持超高QP