核心观点

• 人工智能已广泛应用于企业，但成熟且受监管、能持续创造价值的应用仍然罕见。
• 企业AI主要应用于商业和IT系统，以及软件开发，两者涉及不同的问题和利益相关者。
• 人工智能成熟度是指企业能够查看其人工智能足迹、将其纳入软件组合进行管理、控制风险和技术健康状况，并以价值为导向进行衡量和指导的能力。
• 董事会、治理、风险与合规（GRC）团队、首席信息安全官（CISO）和首席技术官（CTO）在推动人工智能成熟度方面发挥着关键作用。

关键步骤

• 董事会步骤：了解人工智能的基本概念、分配角色和职责、坚持在既有基础上进行建设、组建跨学科人工智能委员会。
• GRC执行步骤：识别相关法律法规、创建并维护人工智能应用的清单、评估人工智能的应用、沟通评估结果并进一步处理、制定并执行政策、提升技能与建立学习型组织、利益相关者沟通、将人工智能成熟度作为一项计划来实施和改进。
• CISO步骤：将AI资产、安全威胁和控制纳入安全体系、通过人工智能整合安全攻击、与GRC协作、与首席技术官合作。
• CTO步骤：将人工智能融入系统生命周期、确保人工智能辅助开发、在自主型人工智能开发中保持人工参与、围绕人工智能的应用组织社区。

关键数据

• 根据麦肯锡的研究，目前大约88%的组织已在至少一个业务职能领域应用了人工智能，但大部分仍处于实验或试点阶段。
• 在所有投入生产的系统中，仅有约1.5%被归类为人工智能系统。
• 根据我们最新的发现，72%的AI系统得分低于我们建议的构建质量阈值。
• Gartner预测，到2027年，25%的逃逸到生产环境中的软件缺陷将源于对AI生成代码缺乏人工监督。

研究结论

• 人工智能的成熟需要组织从战略层面进行规划和治理，并将其视为软件生命周期的一部分。
• 安全和合规性必须融入人工智能的整个生命周期，而不仅仅是作为事后考虑。
• 团队之间的协作和知识共享对于人工智能的成熟至关重要。
• 人工智能的成熟是一个持续的过程，需要组织不断学习和改进。

核心观点

• 算力经济学转折点： AI基础设施投入重心从计算向存储迁移，内存成本占比提升至64%，成为制约大模型商业化的首要瓶颈。
• 内存墙与重算税： 长上下文推理导致KV缓存膨胀，引发“重算税”，造成算力空转损耗达50%，云厂商面临每年约200万美元的浪费。
• 存储金字塔重构： G3.5层（推理上下文内存存储层）应运而生，填补传统存储层级的断层，以低成本的闪存池替代昂贵GPU，重构企业存储格局。
• HBM4与逻辑底座： HBM4标准发布，通过位宽提升和逻辑底座晶圆化，实现带宽和能效的双重突破，但导致存储厂商毛利率反超逻辑芯片设计公司。
• 超节点互连： NVLink、UALink、ESUN等协议竞争激烈，AI后端交换机销售额首次反超前端网络，液冷技术成为物理基建卡点。
• 下一代内存介质： 4F²垂直沟道、无电容3DX-DRAM、非易失内存等新技术涌现，存算一体（PIM/CIM）双轨演进，推动AI算力发展。
• 中国产业链突围： 以“算法级极限压缩+系统级以存代算+超节点以网补卡”为路径，通过DeepSeekMLA、昇腾960全光超节点、OceanStorM900记忆存储等方案，实现算力突破。

关键数据

• BOM成本： 计算裸片占比降至1/4，内存与封装占比达64%。
• KV缓存膨胀： 上下文长度从32K扩展至1MToken，KVCache体积迅速突破单卡容量上限。
• 重算税： 64K长文本下首字延迟恶化至53秒，128K高并发下易触发显存耗尽。
• 云厂商采购： 2027年存储占组件CapEx将达68%，减少40%-45%旗舰GPU采购需求。
• G3.5层成本： 白盒闪存池方案成本低于8万美元/PB，较传统方案降低10-50倍。
• HBM4带宽： 单栈带宽达2.048TB/s，实测带宽突破2.8TB/s。
• 逻辑底座代工： 台积电3nm与三星4nm产能锁定，美光毛利率高达85.95%。
• NVLink： NVLink5/6单卡带宽达1.8TB/s/3.6TB/s，RubinNVL72总带宽达1.4-1.6PB/s。
• CXL4.0： 单通道速率达128GT/s，端到端延迟控制在200ns以内。
• 存算一体： CXL-PNM吞吐提升21.9倍，单Token能耗下降60倍。

研究结论

• AI算力发展进入“存力解耦与超节点互连”时代，存储成为新的竞争焦点。
• G3.5层闪存池、HBM4、SOCAMM2、CXL4.0等技术成为关键突破口。
• 中国产业链通过算法优化、系统创新和本土制造，实现“以存代算、以网补卡”的系统突围。

核心观点

• 电信行业AI代码占比最高，但代码质量堪忧。 研究显示，电信行业AI生成代码占比高达4.1%，远超其他行业，但代码可维护性极差，84.3%的代码低于推荐标准。这主要是因为电信行业存在大量遗留系统（BSS/OSS），这些系统难以适应AI带来的变革。
• AI加速技术债务累积，安全风险不容忽视。 AI生成代码的技术债务问题比人类编写代码更为严重，且更容易产生安全漏洞。研究指出，AI生成代码的安全风险违规是人工编写代码的两倍。此外，电信行业开源软件健康状况最差，84.1%的代码低于推荐标准，这进一步加剧了安全风险。
• 架构是AI系统工程的关键。 电信行业架构质量相对较好，但遗留系统仍然制约着AI的发展。研究建议，在推广AI系统工程的同时，必须优先解决遗留系统的架构问题，否则将导致效率低下和风险增加。
• AI系统工程需要新的管理方法。 AI系统与传统软件不同，需要持续维护、测试和跨职能团队协作。研究指出，目前大部分AI系统可维护性都不达标，这表明电信行业在AI系统工程方面仍面临挑战。

关键数据

• 电信行业AI生成代码占比4.1%
• AI生成代码安全风险违规是人工编写代码的两倍
• 电信行业代码可维护性达标率仅15.7%
• 电信行业开源软件健康状况达标率仅15.9%
• 电信行业遗留系统占比高达75%

研究结论

• 电信行业在AI应用方面处于领先地位，但也面临着技术债务和安全风险等挑战。
• 为了更好地利用AI技术，电信行业需要加强代码质量管理、提升开源软件健康状况、优化系统架构，并建立完善的AI系统工程管理方法。

研报正文总结

第一章 行业发展背景

• 推理应用形态迭代：大模型应用从单点问答发展到智能体协同复杂推理，智能体数量和任务执行量呈指数级增长，对推理系统提出更高要求。
• 推理部署架构演进：预填充-解码分离（PD分离）成为主流范式，通过资源解耦、性能隔离和弹性灵活特性提升效能。
• 推理平台体系演进：推理平台从单一模型执行载体演变为全栈一体化服务体系，涵盖性能优化、资源调度和Token精细化运营能力。
• 推理核心性能评价指标体系：构建涵盖时延表现、吞吐效能、上下文与KV缓存资源、成本效益、运行稳定性五大维度的评测指标体系。

第二章 大模型推理全链路核心瓶颈

• 算力调度与模型部署瓶颈：Token负载感知不充分、请求调度的多目标协同不足、模型部署与资源编排难以匹配动态负载。
• 单轮推理执行瓶颈：长上下文处理的计算开销与阶段干扰突出、KV缓存容量与管理开销制约长上下文和高并发承载、解码加速难以在不同负载下同时兼顾时延与吞吐。
• 多轮智能体推理与混合负载瓶颈：传统推理Batch调度效率低、智能体多轮推理存在中期缓存抖动瓶颈、训推混部架构资源干扰严重、大规模智能体集群面临沙箱性能瓶颈。
• 多租户与Token商业化运营瓶颈：AI推理成本核算体系粒度粗放、传统计费模式不适配AI推理差异化算力消耗、APIKey体系缺乏精细化安全管控机制、多租户共享集群架构隔离能力不足。

第三章 Token驱动全域优化架构

• 算力调度与资源编排：通过Prefill与Decode动态配比、多级协同路由与弹性扩缩容，为上层应用划定物理算力与显存边界。
• 单轮推理优化：通过算子编译融合、分层缓存存储与生成流水重叠，压降单Token生产时延与传输开销。
• 多轮智能体优化：针对工具链式调用引发的交错计算与异步等待，通过阶段气泡消除与程序级生命周期管控抹平算力空洞。
• Token商业化运营：以Token粒度数据为统一资产底座，构建涵盖模型服务市场、全生命周期Token计量、细粒度API权限、分级预算防护与强隔离多租户运营体系。

第四章 全域自适应调度与微服务化MoE架构

• AMPD交错式协同调度框架：针对多轮智能体交错推理痛点，通过离线部署规划与运行时在线自适应调度，实现TTFT与ITL两个关键SLO之间的动态Pareto最优平衡。
• EAAS大规模细粒度MoE解耦服务化系统：将MoE专家池化为独立无状态微服务，实现单卡级细粒度弹性与动态热点克隆、双批次重叠流水、基于IBGDA的CPU-Free异步P2P通信与CUDAGraph全图捕获、基于微服务副本的透明故障转移。

第五章 工程落地实践与效果验证

• 硬件集群选型：涵盖沐曦、华为昇腾、平头哥PPU及海光BW1100等算力平台，适配超长上下文、高并发MaaS及智能体交互等场景。
• 核心性能实测效果：验证了模型精度、核心时延指标（TTFT/TPOT）、吞吐性能、服务稳定性等方面的优化增益。

第六章 总结与展望

• 围绕Token全生命周期开展系统性优化，已成为提升大模型服务效率、扩大应用边界和保障商业可持续性的关键路径。
• 构建了贯通算力调度与模型部署、单轮推理执行、多轮智能体推理、多租户与Token商业化运营的四层优化体系，提出AMPD协同调度框架与EAAS微服务化MoE系统。
• 大模型推理优化仍面临工程挑战，产业各方应协同推动模型、平台、基础设施、智能应用与评价标准持续完善。