电信运营商AI实践手册

1 英特尔 电信运营商 AI实践手册 #云同行AI加速 2 目录 CONTENTS 05 12 18 54 人工智能市场支出指南部署AI时应考量的因素 基于英特尔®架构的AI基石 •第四代英特尔®至强®可扩展平台 •Gaudi2在中国市场隆重推出 •经英特尔优化的开源AI框架和工具 •基于第四代英特尔®至强®可扩展处理器的AI调优指南 •广泛的英特尔AI产品组合和合作伙伴 扩展AI产品阵容以满足中国市场的需求 3 AI的爆炸式增长 1e+09 1e+08 1e+07 训练算力 (PFLOPs) 1e+06 1e+05 1e+04 1e+03 1e+02 20122013201420152016201720182019202020212022 资料来源：Moore,S.(2022)，IEEESpectrum。 4 4 人工智能市场 支出指南 得益于人工智能与各种产品的融合，以人工智能为中心的系统的支出 在2026年预计将超过 3,000亿美元 *包括以人工智能为中心的系统的硬件、软件及服务 27.0% *2022-2026年的复合增长率（CAGR） 1,540亿美元 *包括以人工智能为中心的系统的硬件、软件及服务 26.9% *相比2022年增长 球 IDC预测，2023年全球在 人工智能方面的支出将达到 全 如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 5 中 10.0% 00.0% 202120222023202420252026 中国人工智能市场支出YoY 来源：IDC中国，2023 国 20.0% 20,000 15,000 10,000 5,000 中国人工智能市场支出预测，2021-2026 30,00030.0% 25,000 IDC预计，2026年中国AI市场 市场规模将实现 264.4亿美元 2021-2026五年复合增长率 （CAGR）将超过 20% 单位：百万美元 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 人工智能主要应用行业及场景 TopIndustryBasedon2023MarketShare(Value(Constant)) 13.4% 12.8% 46.7% 10.4% 9.5% 7.1% Banking Retail ProfessionalServicesDiscreteManufacturing Others ProcessManufacturing Source:IDCWorldwideArtificiallntelligenceSpendingGuide-Forecast2023|Feb(V12023) 全球 Top3行业AI应用场景 项目顾问 和推荐系统 销售流程 推荐和增强 增强的 智能客服 中国人工智能市场支出预测（行业），2026 29.3% 47.0% 8.9% 7.8% 7.0% 专业服务地方政府银行 通讯 其他 来源：IDC中国，2023 中国 投资分析 欺诈检测 风险管理 社会服务 城市管理 公共安全 广告营销 推荐 搜索 如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 6 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 库存管理 数据加密降噪 语音助手 面部识别智能门铃 数字助理 自动驾驶汽车购买建议 AI正在颠覆我们的日常生活 视频会议 个性化学习代码生成 推荐系统 7 基于AI的渲染机器人视觉 7 赋能重要的技术转型 个人计算 云计算 边缘计算 网络 工作效率信息获取连接能力 可扩展性和灵活性加快上市速度 节省成本 提升性能实时数据分析 提高效率 提升运维效率实现降耗增效 8 8 人工智能正在变革电信行业 发挥资源优势构建智能算网 •加速云网融合与算力网络建设：简化网络规划和运营，从云到边缘加速塑造新型网络基础设施，满足增长的算力需求； •提升运营效益：在算力网络运营全周期发挥关键作用，驱动网络持续变革，协同新技术提升算力网络智能化水平，全面提升安全与服务质量； •推动产业数智转型：提供AIaaS平台，开发行业大模型，提供智能化方案，驱动AI产业发展和多场景智能化； •释放综合优势，打造智能算力：充分发挥超大规模数据、算网资源以及大模型等核心算法优势，加速实施云改数转战略，推动网络+AI技术融合创新，以AI为核心打造智能算力网络。 9 9 10 “加快建设信息网络基础设施。建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施”1 电信运营商AI应用核心场景 智能运维 •实现网络自治，提升网络运维效率 智慧节能 •开发网络降耗技术，推进自智节能 智慧运营 •打造智慧运营大脑，提升服务水平 https://www.ccps.gov.cn/xtt/202110/t20211019_150923.shtml 生成式AI与万物数字化息息相关，其描述了用于创建新数据的算法，这些数据类似于人类生成的内容，包括音频、代码、图像、文本、模拟和视频。这项技术通过现有内容和数据进行训练，为自然语言处理、计算机视觉、元数据和语音合成等应用创造了潜力。 如今，ChatGPT（一种针对人类对话而优化的GPT-3/4大型语言模型的变体）让普通人不仅了解了生成式AI的强大力量，也了解了企业可以从大型语言模型（LLM）中获得的潜在投资回报。 生成式AI推动着前所未有的计算需求，企业现在比以往任何时候都更需要一个全面的AI战略，该战略必须针对性能、生产力和能效进行独特设计，以满足包含生成式AI在内的新的计算需求。 AI关键用例 英特尔独特的生成式AI解决方案（DemocratizedAIandanOpenEcosystem），可以满足当今和未来的计算需求： •英特尔致力于AI普适化，结合硬件方面的独特优势，支持开放的生态系统，面向未来进行正确的投资，以满足全方位AI的计算需求，包括生成式AI； 生成式AI(GenerativeAI) •英特尔采用开放、经济、可扩展的方法，可将AI扩展到任何地方—从云端到边缘—使企业能够将数据转化为价值； 能，助力客户把握AI带来的新机遇，进而将生 •英特尔的领先产品把AI性能提升到新高度。通过结合至强®处理器和Gaudi2的互补优势，英特尔能够提供一系列丰富且新兴的AI和深度学习功 产力和效率提升至新高度； •英特尔致力于培育开放的生态系统，建立信任、 提供选择并确保互操作性，以满足性能、生产力和能效需求； 11 •英特尔提供多样的硬件组合，可将各种AI负载的推理和训练性能提升至新的水平，以满足对速度的需求。 12 部署AI时 应考量的因素 12 按业务需求选择合适的AI方法时，应考量哪些因素？ 业务用例 数据特点 人工智能类型 人工智能算法类别 发现变量间的关系 结构化数据，批量分析 机器学习 回归 预测分类型分类标签或进行数据分类 结构化数据，批量分析 机器学习 分类 揭示变量间具有意义的关系 结构化数据，批量分析 机器学习 聚类 进行图像分类，在图像中找到识别对象井进行分类 非结构化视觉数据(视频、MRI扫描片等)，批量或实时分析，小型数据集 深度学习:图像识别、对象检测 卷积神经网络(CNN) 从文本中提取内容和意义 非结构化文本(电子邮件、Office文档、社交媒体帖文等)，非机构化音频/视频内容，批量或实时分析 深度学习:自然语言处理(NLP)，语言翻译，语音识别 长短时记忆(LSTM)，递归神经网络(RNN) 将文本/文字转为语音 非结构化文本，实时分析 深度学习:文字转语音 生成对抗网络(GAN) 推荐广告、搜索、应用等 结构化客户数据，非结构化文本，实时分析 深度学习:推荐引擎 多层感知器(MLP) 生成像训练数据的图像 非结构化图像和视频，实时分析 深度学习:数据生成 GAN结合CNN 从对行为的反馈中学习 结构化及非结构化数据，批量或实时分析 深度学习:强化学习 CNN或CNN+RNN 借助英特尔®技术提升洞察质量 70% 的数据中心 AI推理任务 84% 的高管 驱动关键业务产出 的企业应用将使用 嵌入式AI 90% (到2025年) 在英特尔®至强®可扩展处理器 上运行 认为他们需要借助 AI来获得成功 •从云端、网络、边缘，到终端设备，更广泛的应用场景意味着AI的部署环境正变得更为复杂且多元化； •在异构平台上运行全栈软件，需要用户基于不同的硬件基础设施来设计高效稳定的开发和部署方案，且需要根据业务场景、软件框架的不同来实施复杂的调优过程。 如欲了解更多详情请访问：https://www.intel.cn/content/www/cn/zh/ artificial-intelligence/resources/advance-insights-with-ai-brief.html 对于力求在整个企业业务层面扩展AI应用的企业来说， 降低复杂性是关键所在。 13 13 部署AI需要异构芯片 数据模型部署 输 入预处理 数数据管理 据 深度学习训练 推理 经典机器学习 AI助力实现出色的业务成果 14 通用计算 加速计算 资料来源：英特尔预测结果基于分析师数据和内部分析得出 15 通用计算服务于端到端AI管线 开放软件环境 通用计算 终端侧推理 边缘侧AI推理 中小型训练和微调 实时，中等吞吐量，低时延和稀疏推理 16 在基于CPU的基础设施上运行AI工作负载 部署AI时需要考量的基础设施因素 灵活性效率可扩展性 在漫长的AI开发流程中，对计算资源的要求各不相同 基于英特尔®技术的现有基础设施可以支持多种AI用例和工作负载 推荐引擎 经典机器学习 循环神经网络 使用大数据样本的模型 其他实时推理 空闲时段训练 用途 推荐广告、搜索、应用等 从数据获取洞察 语音识别 医学影像、地震勘探、3D环境 图像识别、语音识别、自然语言处理 任何用途 类别 多层感知器(MLP) 回归、分类、集群等 循环神经网络(RNN) 卷积神经网络(CNN) 多种类别 任何类别 CPU的优势 训练和推理。将更大的内存用于嵌入层 将速度更快的内核用于大型数据集和难以并行运行的算法 实时推理。将速度更快的内核用于顺序、难以并行处理的数据 训练和推理。需要更大的内存 将速度更快的内核用于难以井行处理的小批数据 数据中心容量 人工智能（AI）、机器学习（ML）和深度学习工作负载，如图像分类、自然语言处理（NLP）、目标检测和视频分析，正在推动各行各业拥有更快和更好的洞察力。然而，不合格的硬件和未经优化的AI训练和推理解决方案阻碍了它们的进一步发展。 第四代英特尔®至强®可扩展处理器内置AI加速 纵观市场上所有的CPU，第四代英特尔®至强®可扩展处理器内置众多加速器，可为AI工作负载提供性能和能效优势，并可凭借全新的英特尔®高级矩阵扩展（英特尔®AMX）提供卓越的AI训练和推理性能。 英特尔携手生态系统合作伙伴，共推AI的繁荣演进 英特尔数千名软件工程师正在整个AI生态系统中贡献着自己的一份力量加速AI的发展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost的主流开源版本均已面向英特尔®架构进行了优化。 英特尔提供了许多工具来加速AI发展，如用于推理模型优化的OpenVINOTM工具套件；用于ApacheSpark上的分布式深度学习的BigDL；以及用于在任意基础设施上协调机器学习管道的cnvrg.ioMLOps平台。 第四代英特尔®至强®可扩展处理器，结合软件优化和生态系