从AI云底座到AI原生云 加速AIGC应用落地

从AI云底座到AI原生云加速AIGC应用落地 李力 腾讯云副总裁 产业“+AI”向“AI+”转变，AI原生成为引领行业变革关键要素 政策支持 技术成熟数据驱动需求牵引 国内10亿参数规模以上大模型数量 国内每秒平均产出数据量 未来2年计划部署GenAI企业 100+个 [1] 1.1PB [1][2] 68% 年增速22%+ 数据来源：[1]国家数据局、[2]Gartner AI原生正在重新定义产品设计、技术范式 设计理念与技术栈发生变化开发团队在云原生基础上，更关注AI原生 安全策略：模型安全、内容合规、伦理、版权等 工具链：通过Pytorch等AI框架实现训练、评估、监控和应用集成 基础设施：更高性能的硬件，AI加速套件 AI原生应用 LUI诞生 AI与产业深度融合深度学习、NLP、CV 安全策略：防火墙、入侵检测、权限控制 工具链：通过K8S等工具实现持续集成/持续交付(CI/CD)基础设施：通用的算力、存储及网络 云原生应用 GUI为主 AI作为产业辅助Java、Python、Node.js AI原生驱动云厂商自我变革，从AI云底座到AI原生云 AI原生应用 AI原生云 承载反哺 三大关键能力组成的全栈能力AI原生云平台，是企业的正确与共同选择。 高效训推的胜任力 开发增质的支持力 广泛应用的承载力 训练长稳/推理效率/算力供需 数据治理/开发质量/安全防护 灵活接入/实践经验 AI云底座 腾讯云全栈升级，携手行业伙伴提供场景化、模块化的AI原生工具链 携手伙伴共建行业垂直场景方案&应用 金融能源 医疗零售 泛互教育 产业互联网 应用层 消费互联网 全 开发工具工程层AI辅助栈安 全 护 基础大模型模型层行业大模型防 公有云 基础设施 分布式云 基础设施：AI原生训练与推理的超级底座 模型训练提效200%，加速应用开发充分利用GPU，资源利用率99% 无缝集成内外AI生态 训练job 开源生态腾讯自研 云原生调度 训练job 训练job 任务日志监控 AI加速引擎：TACO-LLM/Pipefusion AI框架：pyTorch/oneflow/deepspeed等 训练job 任务异常自研 训练任务异常恢复 一云多芯：提供丰富的GPU和国产芯片选择 计算 设备监控 一键创建网络训练集群 训练节点异常恢复 星脉网络：3.2TbpsRDMA，提效200% 机器 CFSturbo Goosefs+COS 存储异常自研 工程平台：AI赋能AI开发工具，为原生应用的研发提效增质 GPU开发空间 HAI+CloudStudio应用模板|一键部署 数据检索增强 向量数据库 千亿索引|RAG套件 一站式精调 TI平台 定制模型|数据标注 AI+工程能力 智能运维 OrcaTerm助手 技术问答 OrcaTerm助手 代码生成 AI代码助手 智能应用与模型：自研模型体系国内领跑，具备内外部丰富的AI原生实践 基础大模型行业大模型 金融行业大模型医学行业大模型 教育行业大模型汽车行业大模型 文旅行业大模型政务行业大模型 …… 金融大模型 百亿参数效果超越千亿参数模型 医疗大模型 同级SOTA（最优效果）水平，覆盖98%医学知识 参数规模万亿 率先采用MOE架构 已接入腾讯内部600+产品 安全防护：“打自己”凝聚安全稳固的模型全方位防护 模型使用方 模型建设方 Prompt安全测评 AI 赋能安全 AI 本体安全 模拟 攻击者行为风险收敛 自动化攻击样本生成 自动化风险研判能力 AI 应用安全 攻防演练 数据准备 模拟训练 模型部署 业务运营 AI内容安全 第一轮安全演习AI基础设施安全 第二轮安全演习核心数据安全 第三轮安全演习安全有效性验证 第四轮安全演习上线前风险收敛 未来 常态化演练 AI原生云支持任意位置、任意方式构建AI原生应用 客户 训练 微调 通过微调扩展已有的AI模型 自训练 从零开始训练自定义AI模型 推理 使用应用 直接使用已具备AI能力的应用 API集成 在开发应用时集成AI能力的API RAG 利用数据检索为AI模型提供辅助提示 AI原生云 任意位置、任意方式部署 边缘可用区TEZ 专属可用区CDZ 本地专有集群CDC 专有云TCE 重磅发布 腾讯云智算套件，支持专有云、分布式云部署形态 软件AIInfra 腾讯云智算套件 高性能计算集群 HCC[CVM/CBM] 高可用，超100小时连续训练 智能高性能网络 IHN 高带宽，3.2TRDMA网络 软件加速框架 Taco 高加速比，提升1.5x-2.5x 高性能文件系统 TurboFS 高并发，千卡并发读写 灵活部署 支持专有云、分布式云多种部署形态满足客户自有GPU、自建智算中心需求 全栈智算 支持自研与第三方交换机 丰富GPU和国产芯片适配 一云多芯软硬协同 硬件多元设备 经历公有云和自研混元大模型打磨沉淀应对智算木桶效应，推出算存网全栈方案 专有云管控 公有云管控 硬件多元设备 一云多芯 同源同构，向外延展 接入公有云管控 中心IDCCDZ TCETCS 适配多种GPU芯片和网络交换机支持混合部署，对硬件保持开放兼容 重磅发布 腾讯云xGartner：业内首个《AI原生云建设与加速指南》白皮书 助力企业加速AI原生应用落地，抢占AGI商业风口 我们正在加速时代的变革 感谢聆听！