Hologres 《实时数仓技术入门一本通》.pdf

Hologres 用户交流群 Hologres 官网 Hologres 开发者社区技术圈 阿里云开发者 “藏经阁 ” 海量免费电子书下载 目录 Hologre 产品介绍与技术揭秘 4 快速上手 Hologres 16 Hologres+Flink 实时数仓详解 26 MaxCompute+Hologres 数据仓库详解 33 开源 OLAP 升级 Hologres 详解 46 概要 ：近年来 ，随着数据实时化的诉求加剧 ，催生了一系列的实时数仓架构 ，Lambda 架 构也应运而生 ，但是随着场景的复杂度和业务多维需求 ，Lambda 架构的痛点也越来越明 显 。HSAP 的理念则是服务分析一体化 ，在本文中 ，来自阿里巴巴的资深技术专家将会深 度剖析 HSAP 技术实现 Hologres 的设计原理，解读其产品典型场景。 Hologre 产品介绍与技术揭秘 < 4 Hologre 产品介绍与技术揭秘 作者 |仙隐（金晓军） 阿里巴巴资深技术专家 一、 传统数据仓库 目前来说，大数据相关的业务场景一般有实时大屏、实时 BI 报表、用户画像和监控预 警，如下图所示。 实时大屏业务 ，一般用在公司领导做决策的辅助工具 ，在对外展示 ，比如实时成交额等 场景也会经常用到，是一种展示公司实力的方式。 实时 BI 报表是运营和产品经理经常用到的一个业务。 用户画像常用在广告推荐场景中 ，通过更详细的算法给用户贴上标签 ，使得推荐算法更 加有针对性，更加有效。 预警监控，比如对网站、 APP 进行流量监控，在达到一定阈值的时候可以进行报警。 5 > Hologre 产品介绍与技术揭秘 对于上面这些大数据业务场景 ，在很早之前业界就开始通过数据仓库的建设来满足这些 场景的需求 ，比较传统的是如下图所示的离线数据仓库 ，其大致流程就是 ：首先 ，将各类数 据收集起来 ； 然后经过 ETL 处理 ， 再经过层层建模对数据进行聚合 、 筛选等处理 ； 最后在 需要的时候通过应用层的工具对数据进行展现，或者生成报表。 上面这种方式虽然可以对接多种数据源，但是存在一些很明显的痛点： ETL 逻辑复杂，存储、时间成本过高； 数据处理链路非常长； 无法支持实时 /近实时的数据，只能处理 T+1 的数据。 二、 Lambda 架构 随着实时计算技术的兴起，出现了 Lambda 架构。 Lambda 架构的原理如下图所示 ， 其思路其实是相当于在传统离线数仓的基础上再加上一个处理实时数据的层 ，然后将离线数 仓和实时链路产生的数据在 Serving 层进行 Merge ，以此来对离线产生的数据和实时产生 的数据进行查询。 从 2011 年至今 ，Lambda 架构被多数互联网公司所采纳