Data+AI
MaxCompute & Hologr es
ODPS (Open Data Processing Service)
Te radata
1984
Google‘s
Distributed System
P apers
2003-2006
Asia Biggest Or acle Rack
2002-2006
Netezza
Per formance
Serv er
1999
V ertica Columnar
Stor age
2005
AWS Redshif t
Cloud DW
2013
ODPS-Hologr es
R ealT ime DW
2020
Verv erica
acquir ed by
ibaba 2019
MaxComput
e
3.0
2020
MaxCompute
2.0
2017
GCP
BigQuery
2012
MaxC ompute
&Hol ogres
Unif ied
A rchitectur e
2021
MaxCompute
Lake House
2020
AWS Data
Lak e
Formation
2018
Flink
2014
Y ARN
2012
Hadoop as
Apache TLP
2008
Hadoop
2004
Lucene
1997
Cloud
Ladder P roject
2009
ODPS
1.0
2010
Snowf lake
2015
Google
D remel
ODPS
Data
Plat form
2015 2010
Migrate
Hadoop to ODPS in
ibaba,
MaxCompute & DataW orks
ibaba Data
Plat form best
p ractice
ODPS
Public
A vailable
2013
Single
Cluster
Bey ond 5K
Nodes
ODPS Global
Available
2017
Intelligence,
Openness,
T CO eff ective
Service
10+ global regions
Hadoop
cluster in
p roduction
2008
Enterprise
Ready Scalable to 10K
LakeHouse
A rchitectur e
AI
阿里云大数据+AI产品解决方案
数据上云 流式计算 云原生大数据平台ODPS 开源大数据服务 人工智能平台PAI – AI计算
大数据开发与治理 - DataW orks
DW-数据建模 DW -数据开发 DW -数据治理 DW -数据质量 DW -数据安全
人工智能平台P AI：Platform for AI -- AI开发
交互式建模
P AI- DSW 可视化建模
P AI-Designer 数据标注
P AI-Itag MLOps
P AI-QuickStart
智能搜推服务
开放搜索
OpenSearch
智能推荐 P AI-Rec 海量数据加工（SQL、Python）
MaxCompute
交互式数据分析Hologres
Flink
智算服务
P AI 灵骏 EMR（Spark、StarRocks…）
Elasticsearch
DLF
生态…
模型服务
P AI-EAS
AI加速引擎
P AI-ACC 分布式训练
P AI-DLC
结构化
数据集成
Hadoop
数据迁移
特征工程
P AI-FeatureStore
人工智能平台P AI -- 模型服务
模型API服务
灵机 模型模型最佳实践PAI 智码实验室
超高性价比
可扩展架构
大数据AI一体
企业级安全
Serverless
IaaS
、
计算存储分离按需弹性资源
内置高可靠分布式存储（飞天盘古）
、
开放存储
OSS / HDFS
Stor age API
云原生大数据调度服务
PaaS
计算引擎
高性能SQL
引擎
兼容开源
MR/Spark引 擎 MaxFr ame(
Python开发 环境） ACID 与增量
计算
元数据服务
全生
命周
期安
全管 理
Big Meta
智能数仓
D ataW orks
(开发&调度)
DaaS
接入服务
SDK Console P AI S tudio API
数据加工 经营报表 探索式分析 数据科学
Data
+AI
高弹性
B
9)Œ
— n\
ODPS-MaxCompute大数据计算服务
亚秒级查询延迟
负载隔离
向量检索
事件驱动实时加工
高吞吐实时写入
IaaS
PaaS
DaaS
‡Ò“6…
内置存储（盘古）
计算引擎
MPP高性能SQL引擎 行存&列存&Binlog
内置
Pr oxima 向
量检索引擎 面向写入优 化的LSM存 储结构
Meta Service
‡Ò_
SQL审计
DataW orks
(开发&调度) 接入服务
JDB C SDK HoloWeb API
自助式分析 实时大屏 实时应用 在线推荐/风控
Real
time
Per for-
mance
MaxCompute存储 OSS 存储
湖仓加速服务
Acceler
-ation
D ata
+AI
ODPS-Hologr es
降本能力：灵活的付费模式
驱动大数据成本的显著下降
D ata+AI
5
轻运维能力：Serverless 变革
大数据运维模式 开放能力：湖仓一体与开放性
智能优化能力：AI加持的智能数仓 AI能力：大数据作为AI的基础设施
!"#$%&'()*+,-./01234(56789
-)*./0123456789:2;<=>9:2?@ABC7DEFGH2IJK
!"#$
订阅制（包年包月）
•
•
(y)
(x)T ime
分配的资源
1000cu
0
实际需要
按量计费（后付费）
• Serv erless
•
•
(y)
(x)T ime
0
弹性分时
•
•
(y)
(x)T ime
1000cu
0
1000cu
3000cu
闲时作业
•
•
60+%
•
(y)
(x)T ime
0
MaxCompute
60+% 50+%
* MaxCompute
成本优化 CU CU ($)
750 --16K CU CU ($)
500
500 05:30-06:00 12K 500 8:00-8:30
1000 CU
Base Line
Time
CU
0
500
1k
06:00 06:30
过去30天资源消耗
Time
CU
0
500 1k
06:00 06:30
推荐的弹性分时资源规划
Time
CU
0
500 1k
06:00 06:30
30
需要在不破坏基线的前提下优化资源
750CU
20+%
智能推荐的资源方案
MaxCompute
*
10%-20%
1-2
20%-30%
1-2
50%
标准存储
低频存储
长期存储
分层存储（MaxCompute & Hologres)
半结构化JSON数据
消息中间件
•支持JSON、JSONB数据类型
• 支持构造、访问、更新等多种操作
符，如 @>, ?, ->
• 支持JDB C、F
Data+AI时代大数据平台应该如何建设.pdf