阿里云消息队列的Serverless架构演进公仪阿里云智能高级技术专家
阿里云消息队列 ：十年磨一剑 出鞘必锋芒开源和商业齐头并进共同迈入Serverless时代阿里集团RocketMQ 诞生2016 年2018 年2021 年2012 年2017 年2023 年2019 年Apache TLP毕业RabbitMQMQTT云计算时代 RocketMQ商业化大数据时代Kafka事件总线EventBridgeServerless KafkaConfluent合作
NodeNodeNode•基于云原生存储服务保证数据可靠同时池化复用•MQ只需保证服务高可用，降低系统复杂度•计算与存储分离，可以独立扩缩容•具备无限存储能力•节点无状态，扩缩容不涉及数据迁移•弹性扩缩容效率高•从行为定义：•更细粒度的部署模型；上传应用到平台，然后被执行，扩展和计费，以响应当时确切需求•从组成定义：•Serverless = Faas + Baas•从特性定义：•必须具备弹性伸缩和按量付费的特点•基于本地文件系统和本地盘构建•依赖高可用机制保证数据高可靠和服务高可用•计算和存储紧耦合，不能灵活调整•无法实现长期存储，整体利用率低•节点有状态，扩缩容涉及数据迁移内存内存内存Shared-NothingNode内存HotNode内存HotNode内存HotShared-Cold DataColdColdColdShared-Data消息队列架构演进无分区物理分区逻辑分区物理分片Serverless架构存算一体架构单机架构StorageNode内存HotNode内存HotNode内存HotStorageColdColdCold
阿里云盘古DFS•盘古是阿里云自研的高性能分布式文件系统•解决了超大规模下数据不丢不错和高可用的难题•提供对标本地存储的低延时和高吞吐•阿里云盘古DFS是构建在盘古分布式文件系统上的存储产品•在云上提供大数据文件存储服务，满足高性能存储需求•Kafka面向日志或流的Append Only存储模型和盘古完美契合•避免不必要的GC和空间放大•纠删码、冷热分层、软硬件协同优化实现存储成本的降低•盘古DFS支持跨数据中心的容灾策略•百微秒级平均延迟、毫秒级长尾延迟•数据可靠性12个9，可用性高达5个9Serverless•存储服务 - 阿里云盘古DFS。高性能、高可用、高可靠•高性能 – 极致读写性能。多级缓存，数据就近访问•服务高可用- 热备副本。禁止双写，避免脑裂•计算无状态 - 容器化。容器极致弹性、调度能力•云原生可观测。拥抱OpenTelemetry，依托于ARMS+Prometheus以及Grafana实现可观测消息队列架构演进
Kafka Serverless：架构升级弹性伸缩存算分离，无状态计算节点，存储托管化高可用轻量、安全机制，多 AZ/Region容灾按量付费Serverless 友好，极致成本优化云原生基础设施运维体
阿里云消息队列的 Serverless架构演进.pdf