【 弹性计算技术公开课 —— 第一季 】
演讲材料合集
智能基础设施服务打造强大算力，应对 AIGC 与 LLM 的挑战
大模型时代如何应对大算力挑战
张新涛
阿里云弹性计算产品专家
大语言模型开启人工智能新的时代
01
智能计算是提升大模型应用快速落地的基础
02
软硬一体的阿里云智能计算基础设施
03
面向 AI 大模型训练与推理的解决方案
04
Contents
目录
大语言模型开启人工智能新的时代
• 多模态，海量数据，超大模型成了必然趋势
• 大模型对于计算力的要求惊人
• AI 应用场景开始蓬勃发展
01
生成式大语言模型火爆全球，开启生成式 AI 新时代
2015 年 12 月 ，
Elon Musk,Sam Altman
Peter Thiel 投资 10 亿美
元，创立 OpenAI
2017 年，
谷歌大脑推出
生成式预训练
Transformer 模型
2018 -2020 年 ，
OpenAI 依次推出
GPT -1/GPT -2/GPT -3
等 NLP 自然语言处理模型
2019 年 3 月 OpenAI
过度到“封顶盈利 ”
2020 年 6 月 ， OpenAI 发
布第一个商业化产品
OpenAI API ;
2020 年 9 月 微软购买独
家许可，将 GPT -3 整合到
自己的产品中
2022 年 11 月 30 日
OpenAI GPT3.5 基础上
的 ChatGPT 模型
生成自然语言文本
2023 年 3 月
GPT4 发布
输入：图片 + 文字 推出
Microsoft 365
Copilot ： AI 助力
Word 、 PowerPoint 、
Excel 生产力大提升
2023 年 4 月
阿里云通义千问发布
面向企业用户开放
阿里全系业务将接入
• 敢于质疑
• 承认无知
• 主动承认错误 • 连续对话能力
• 捕捉用户意图
• 理解上下文 GPT4
InstructGPT /GPT -3.5/ChatGPT
GPT -3
Transformer
PyTorch
微软云 Azure
大模型
Transfomer 的 Decoder 分支
1750 亿个参数 小样本学习能力
模型调优
人类反馈强化学习 RLHF
深度学习框架
易于使用 API 迭代更稳定
模型框架
Attention 机制
参数少 速度快 效果好
算力资源
OpenAI 的独家云提供商
2018 年以来 LLM 算法（大规模语言算法）成长的时间线 近年来超大规模预训练模型参数增长趋势
Large Language Models: A New Mo ore's Law? 》 —— Julien Simon@Hugging Face
• 预训练模型使得模型的训练可以被复用，大幅降低训练成本； 前期需要大量的数据进行预训练
• “大 模 型 ” 已 成 为 行业 巨头 发 力 的 一 个 方向
多模态、海量数据、超大模型成为趋势
训练阶段 推理阶段（日常运营） Finetune
算力需求
参数加载
【弹性计算技术公开课——第一季】 106页.pdf