英特尔中国 AI加速实践手册

英特尔中国AI加速实践手册1 英特尔中国 AI加速实践手册 #芯加速行至远 2 英特尔中国AI加速实践手册 目录 CONTENTS 04 06 10 38 人工智能市场支出指南 企业部署AI时应考量的因素基于英特尔®架构的AI基石 •第四代英特尔®至强®可扩展平台 •经英特尔优化的开源AI框架和工具 •基于第四代英特尔®至强®可扩展处理器的AI调优指南 •广泛的英特尔AI产品组合和合作伙伴 英特尔中国AI加速实践手册3 AI趋势与展望–生成式AI 人工智能市场 支出指南 单位：百万美元 得益于人工智能与各种产品的融合，以人工智能为中心的系统的支出 在2026年预计将超过 3,000亿美元 *包括以人工智能为中心的系统的硬件、软件及服务 27.0% *2022-2026年的复合增长率（CAGR） 26.9% *相比2022年增长 1,540亿美元 *包括以人工智能为中心的系统的硬件、软件及服务 球 IDC预测，2023年全球在 人工智能方面的支出将达到 全 如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 4 中 来源：IDC中国，2023 0.0% 20222023202420252026 中国人工智能市场支出YoY 2021 10.0% 20.0% 亿美元 264.4 30.0% 30,000 25,000 20,000 15,000 10,000 5,000 0 2021-2026五年复合增长率 （CAGR）将超过 20% 国 中国人工智能市场支出预测，2021-2026 IDC预计，2026年中国AI市场 市场规模将实现 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 英特尔中国AI加速实践手册 人工智能主要应用行业及场景 TopIndustryBasedon2023MarketShare(Value(Constant)) 13.4% 12.8% 46.7% 10.4% 9.5% 7.1% Banking Retail ProfessionalServices Others DiscreteManufacturing ProcessManufacturing Source:IDCWorldwideArtificiallntelligenceSpendingGuide-Forecast2023|Feb(V12023) 全球 Top3行业AI应用场景 项目顾问 和推荐系统 销售流程 推荐和增强 增强的 智能客服 中国人工智能市场支出预测（行业），2026 29.3% 47.0% 8.9% 7.8% 7.0% 专业服务 地方政府 银行 通讯 其他 来源：IDC中国，2023 中国 投资分析 欺诈检测 风险管理 社会服务 城市管理 公共安全 广告营销 推荐 搜索 如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 5 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 英特尔中国AI加速实践手册 企业部署AI时应考量的因素 企业按业务需求选择合适的AI方法时，应考量哪些因素？ 业务用例 数据特点 人工智能类型 人工智能算法类别 发现变量间的关系 结构化数据，批量分析 机器学习 回归 预测分类型分类标签或进行数据分类 结构化数据，批量分析 机器学习 分类 揭示变量间具有意义的关系 结构化数据，批量分析 机器学习 聚类 进行图像分类，在图像中找到识别对象井进行分类 非结构化视觉数据(视频、MRI扫描片等)，批量或实时分析，小型数据集 深度学习:图像识别、对象检测 卷积神经网络(CNN) 从文本中提取内容和意义 非结构化文本(电子邮件、Office文档、社交媒体帖文等)，非机构化音频/视频内容，批量或实时分析 深度学习:自然语言处理(NLP)，语言翻译，语音识别 长短时记忆(LSTM)，递归神经网络(RNN) 将文本/文字转为语音 非结构化文本，实时分析 深度学习:文字转语音 生成对抗网络(GAN) 推荐广告、搜索、应用等 结构化客户数据，非结构化文本，实时分析 深度学习:推荐引擎 多层感知器(MLP) 生成像训练数据的图像 非结构化图像和视频，实时分析 深度学习:数据生成 GAN结合CNN 从对行为的反馈中学习 结构化及非结构化数据，批量或实时分析 深度学习:强化学习 CNN或CNN+RNN 6 英特尔中国AI加速实践手册 部署AI时需要考量的基础设施因素 在基于CPU的基础设施上运行AI工作负载 灵活性效率可扩展性 在漫长的AI开发流程中，对计算资源的要求各不相同 基于英特尔®技术的现有基础设施可以支持多种AI用例和工作负载 推荐引擎 经典机器学习 循环神经网络 使用大数据样本的模型 其他实时推理 空闲时段训练 用途 推荐广告、搜索、应用等 从数据获取洞察 语音识别 医学影像、地震勘探、3D环境 图像识别、语音识别、自然语言处理 任何用途 类别 多层感知器(MLP) 回归、分类、集群等 循环神经网络(RNN) 卷积神经网络(CNN) 多种类别 任何类别 CPU的优势 训练和推理。将更大的内存用于嵌入层 将速度更快的内核用于大型数据集和难以并行运行的算法 实时推理。将速度更快的内核用于顺序、难以并行处理的数据 训练和推理。需要更大的内存 将速度更快的内核用于难以井行处理的小批数据 数据中心容量 英特尔中国AI加速实践手册7 英特尔中国AI加速实践手册7 借助英特尔®技术提升洞察质量 70% 的数据中心 AI推理任务 84% 的高管 驱动关键业务产出 的企业应用将使用 嵌入式AI 90% (到2025年) 在英特尔®至强®可扩展处理器 上运行 认为他们需要借助 AI来获得成功 •从云端、边缘到终端设备，更广泛的应用场景意味着AI的部署环境正变得更为复杂且多元化； •在异构平台上运行全栈软件，需要用户基于不同的硬件基础设施来设计高效稳定的开发和部署方案，且需要根据业务场景、软件框架的不同来实施复杂的调优过程。 如欲了解更多详情请访问：https://www.intel.cn/content/www/cn/zh/ artificial-intelligence/resources/advance-insights-with-ai-brief.html 对于力求在整个企业业务层面扩展AI应用的企业来说， 降低复杂性是关键所在。 英特尔中国AI加速实践手册8 英特尔中国AI加速实践手册8 人工智能（AI）、机器学习（ML）和深度学习工作负载，如图像分类、自然语言处理（NLP）、目标检测和视频分析，正在推动各行各业拥有更快和更好的洞察力。然而，不合格的硬件和未经优化的AI训练和推理解决方案阻碍了它们的进一步发展。 第四代英特尔®至强®可扩展处理器内置AI加速 高达5.7倍至10倍 PyTorch实时推理性能提升 高达3.5倍至10倍 PyTorch训练性能提升 启用内置英特尔®AMX(BF16)的第四代英特尔®至强® 可扩展处理器vs上一代产品（FP32） 纵观市场上所有的CPU，第四代英特尔®至强®可扩展处理器内置众多加速器，可为AI工作负载提供性能和能效优势，并可凭借全新的英特尔®高级矩阵扩展（英特尔®AMX）提供卓越的AI训练和推理性能。 英特尔携手生态系统合作伙伴，共推AI的繁荣演进 英特尔数千名软件工程师正在整个AI生态系统中贡献着自己的一份力量加速AI的发展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost的主流开源版本均已面向英特尔®架构进行了优化。 英特尔提供了许多工具来加速AI发展，如用于推理模型优化的OpenVINOTM工具套件；用于ApacheSpark上的分布式深度学习的BigDL；以及用于在任意基础设施上协调机器学习管道的cnvrg.ioMLOps平台。 第四代英特尔®至强®可扩展处理器，结合软件优化和生态系统合作，正在帮助人工智能开发者实现其生产力目标，并从人工智能中更快地获得商业价值。 如欲了解更多详情请访问：https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/accelerate-ai-workload-with-amx.html 英特尔中国AI加速实践手册9 英特尔中国AI加速实践手册9 解决方案 IntelSolutionsMarketplace 加速AI落地 200+一站式AI方案可选助力应用快速落地 工具 Scikit-Learn Pandas NumPy/SciPy XGBoost &More 加速AI应用构建 150+容器镜像帮助用户快速构建端到端AI数据应用 技术 连接 内存 存储 GPUFPGAASIC CPU 加速AI性能 在20+典型AI负载下提供卓越性能表现 多功能的 人工智能基础设施 AI，科学计算，媒体与图像 边缘 深度学习推理 数据中心深度学习训练 (Gaudi) CPU GPU 专用 基于英特尔®架构的AI基石 面向更广泛工作负载AI专用 10 英特尔中国AI加速实践手册 可运行各种AI代码，各类工作负载 英特尔®AI平台 第四代英特尔®至强®可扩展处理器 加速整个AI管道，以运行多种 AI代码和工作负载 经过英特尔优化的开源AI框架和工具 加速开发者构建和部署 AI应用的旅程 广泛的英特尔AI产品组合和合作伙伴 通过丰富的软硬件组合加速AI方案部署时间 英特尔中国AI加速实践手册11 英特尔中国AI加速实践手册11 ModelPackaging ModelEvaluation ModelOptimization ModelSelection DataTransformation Feature Creation DataPreparation 端到端人工智能流水线的挑战 数据 模型 部署 DataCleanup DataAnalysis Data Labelling DataIngestion DataValidation DataCollection ModelValidation ModelTraining ModelServing Endpoint Config PerformanceMonitoring 1基于英特尔对截至2021年12月，运行AI推理工作负载的全球数据中心服务器装机量的市场建模 12 只有53% 的AI项目能够从原型到生产(Gartner)2 2数据来源:www.infoworld.com/article/3639028/why-ai-investments-fail-to-deliver.html 英特尔中国AI加速实践手册 DataDataDataCollectionValidationPreparation DataDataDataIngestionLabellingTransformation DataData AnalysisCleanup SelectionEvaluation ModelModel TrainingValidation Feature Creation ModelModel ModelOptimization ModelPerformancePackagingMonitoring EndpointModel ConfigServing 端到端人工智能流水线的挑战 数据 模型 部署 经典机器学习 以几十年的行业投资，基于英特尔®至强®处理器优化和 运行机器学习代码 数据准备 基于英特尔®至强®处理器 深度学习 内置AI加速器的第四