Lindorm：打造AI时代的 一体化数据平台.pdf

Lindorm ：打造 AI 时代的 一体化数据平台 沈春辉 阿里云资深技术专家 2003 Google 三驾马车 1970 E.F.Codd 关系模型 Gartner Multimodel DB 2017 关系型数据库阶段 典型代表： Oracle 、 DB2 、 MySQL 等 大数据 &NoSQL 阶段 典型代表： Bigtable 、 Hadoop 、 MongoDB 、 Redis 、 ElasticSearch 等 融合型数据库阶段 PC 互联网 移动互联网 AIoT GB 级 TB 级 PB 级 EB 级 典型代表： Lindorm 、 CosmosDB 、 Lakehouse 等 结构化数据 SQL 结构化数据 SQL 半结构化数据 MapReduce 结构化数据 SQL 半结构化数据 MapReduce 非结构化数据 AI 数据库系统的发展演进 离线归档 Hive Spark So lr Cl ickhouse Doris 实时明细同步 离线结果导入 实时处理 实时结果写入 离线归档 Flink 详单 运营分析 BI 报表 仪表板 在线 KV 全文检索 交互分析 Mongo In fluxDB HBase 宽表 文档 时序 搜索引擎 OLAP Kafka HBase MySQL 数据接入 … 数据使用 El asticSearch • 搭建 N 条数据链路 • 运维 N 套分布式系统 • 缺乏弹性，容量管理困难 • N 种访问接口 • N 套元数据 • 相似功能不一致 • 业务侧双写或双读 开发效率低 维护挑战大 • 数据重复冗余 • 资源碎片化，使用不均 • 数据流转额外开销大 • 海量存储成本高 资源开销高 传统数据架构面临的挑战 典型的多产品组合方案，数据链路多，访问接口多，数据重复冗余 多模数据 网页、社交、信号、轨迹、日志、 图片视频等 云原生多模数据库 Lindorm 统一 SQL 表格 在线服务 实时 & 离线 计算 AI 处理 共享 存储 时序 消息 对象 向量 高并发写入 存查算一体 在离线、离在线一体 一份数据，多种计算 资源弹性 开箱即用 低成本 标准化接口 开放数据格式 自由数据链路 智能数据分析 多模态数据检索 AI 推理 in DB 云原生化 一体化 智能化 开放化 Lindorm ：打造 AI 时代的一体化数据平台 Lindorm 动画 数 据 引 擎 层 计 算 层 搜索引擎 LSearch 倒排索引 宽表引擎 LTable LSM 查 询 层 统一查询引擎 LSQL 多模数据统一访问，兼容 MySQL 通信协 议 存 储 层 向量引擎 LVector HNSW 按需插拔 多模互通 存算分离 智能计算 统一体验 ECS (X86/ARM/ 倚天 ) 块存储 (ESSD PL1/PL0 高效 ) 对象存储 OSS 本地盘 (SSD/HDD) 分布式文件系统 LDFS HDFS 接口、一个目录结构、多种存储介质 智能引擎 LDAI 模型管理