计算机行业：异构融合计算技术白皮书

异构融合计算技术白皮书 （2023年） 工业和信息化部电子第五研究所 2023年9月 编写者 参编单位：浪潮电子信息产业股份有限公司、上海矩向科技有限公司、中国电信研究院、清华大学、中国科学院软件研究所、国防科技大学、复旦大学、中国长城研究院、中国电子技术标准化研究院、曙光信息产业（北京）有限公司、同方计算机有限公司、上海熠知电子科技有限公司、阿里云技术有限公司、中科院计算所、紫光集团前沿技术研究院 参编人员：杨晓明、陈平、刘建、熊婧、李冬、黄朝波、廉建芳、颜秉珩、林显成、董刚、王洲、蔡彦、陈小文、卢晶雨、任翔、刘娜、张政、李宁、崔士伟、徐扬、李璇、刘玉海、尹航、李阳、买强、张磊、张震宁、赵立新、左明敏、周鹏、戴少鹏、杨蔚才、李亚军、伍海龙、陈硕、张阳、刘占民、王佑站、闫沛浩、张淑艳、杨攀飞 版权声明：本白皮书版权属于工业和信息化部电子第五研究所及参编单位，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：工业和信息化部电子第五研究所”。违反上述声明者，将 追究其相关法律责任。 编者序 近年来，自动驾驶、元宇宙、人工智能等应用不断创新发展，数据规模、算法复杂度以及算力需求爆发式增长。各类加速处理器已成为算力基础设施的重要组件，基于CPU+xPU的异构计算系统逐渐成为各算力场景的主流架构。然而，随着异构计算系统的种类和数量越来越多，xPU性能与灵活性难以兼顾、各xPU间计算孤岛问题难以协同、调试和维护成本增高等问题愈发凸显，亟需从异构融合计算方向加强理论研究和实践探索。 以人工智能发展为例，NatureElectronics期刊在2022年4月的一篇文章显示：从2018年开始，随着AI大模型应用的涌现，算力需求平均每2个月翻一倍；摩根士丹利估计“2022年谷歌的3.3万亿次搜索，平均成本约为每个0.2美分”，JohnHennessy表示“基 于大模型搜索的成本是标准关键词搜索的10倍”。需求的变化和成本的约束，再加上NoC（Network-on-Chip）和SiP（SysteminPackage）等新芯片技术的赋能，必将推动算力基础架构的变革。计算架构已逐渐从目前各自为政、孤岛式的异构计算，走向异构融合计算。同时，以系统设计为中心，按照应用需求来设计、定义和规划计算架构，推动多层级技术的融合已成为当前的最佳可行方案。 狭义的异构融合计算，指的是多种不同类型、不同架构处理器组成的计算架构。广义的异构融合计算，是指通过将处理器、芯片、硬件设备、操作系统、编程框架、编程语言、网络通信协议、数据中心等不同层次、不同类型的计算技术进行整合优化，以实现多种异构计算资源的高效利用。本白皮书旨在探讨异构融合计算技术的内在机制、应用场景和发展趋势，通过概述计算领域相关概念，回顾计算架构发展历程，分析了异构计算技术的发展现状及面临的主要问题，从硬件层面（芯片级、设备级）、软件层面（操作系统、编程框架）、系统层面分别提出了异构融合计算技术的探索方案及演进方向，引出了异构融合计算技术的发展趋势，并介绍了异构融合计算领域相关的实践案例。同时，指出了异构融合计算发展面临的挑战：一是，处理器架构的限制，可扩展性和灵活性难以满足，计算孤岛问题凸显；二是，当前的编程框架、编程语言、及其他编译/调试工具，不足以支撑高效的异构代码编写、优化和管理；三是，系统集成和互操作性技术要求高，难以构建统一的系统视图以支持跨平台的开发和部署。 在此，对参与本白皮书编制的各位专家表示衷心的感谢。我们相信，白皮书将为读者提供一个新的视角和思考方式，希望读者能够结合实际应用场景，对异构融合计算相关技术进行深入探索和研究。白皮书内容，不可避免会存在诸多不足，恳请各界专家批评指正。 推荐序1 当今，数字化技术作为科技与产业新一轮变革的核心驱动力，正在加速各行各业转型升级，一个以计算能力为基础的万物感知、万物互联、万物智能的数字经济时代正加速到来。在这一进程中，算力作为数字经济的核心生产力，由单一算力演变为多样性算力，如何实现多样性算力的高质量协同，已成为新型算力基础设施领域亟需突破的关键问题。 《异构融合计算技术白皮书》针对现有算力基础设施无法满足算力需求的问题，深入刨析了异构计算应用场景特点以及计算架构异构演进历程，提出了异构计算发展所面临的问题，引入异构融合计算的概念，并分别从硬件、软件、系统三大层面概述了异构融合趋势和关键技术，系统全面地论证了异构融合计算如何解决传统异构计算的问题，并为多样性算力高质量协同提供了全面的技术体系梳理和的技术发展趋势判断。 中国电信作为云网领域的中央企业，全面深入实施“云改数转”战略，充分发挥云网融合优势，与产业链上下游广泛协同，积极打造云智、训推一体，云网边端协同的分布式算力基础设施。本白皮书为算力基础设施建设和算力赋能提供了相关技术指引和参考，从基本概念到实践案例，再到未来展望和发展建议，具有较高的实践指导价值，我们相信该白皮书能够为相关企业和研究机构提供有益的启示，我们也期待我国在异构融合计算领域取得更多突破。 ----陆钢中国电信研究院云网运营技术研究所副所长 推荐序2 数字化时代，创新应用爆发式增长，传统单一架构计算平台已难以满足多样性算力需求，异构融合计算技术的提出显得尤为重要。该白皮书深入浅出地解析了异构融合计算技术的内涵与外延，让我们对这一技术的概念、应用和发展趋势有了更清晰的认识。 在硬件层面，异构融合计算技术是指将不同类型的处理器（如CPU、GPU、FPGA等）融合在一起，实现多种处理器的协同工作，以实现更高效、更灵活的计算能力。本白皮书通过研判芯粒级、设备级的技术融合趋势，为实现更高计算能力、更高能效比、更低算力成本的算力硬件实现，提供了一种实现方案。在软件及系统层面，阐述了硬件架构优化、操作系统优化、算法定制、统一编程框架、编译器优化等软硬件高效协同设计的思路，这一点对硬件和软件开发都具有重要的引导意义。尽管异构融合计算这一技术还存在一些挑战和问题，但随着技术的进步和应用的深入，我们可以预见异构融合计算技术将在更多领域得到应用和发展。我们有理由相信这一技术将带来更多的社会和经济效益。因此，希望未来的研究能够继续关注这一领域的发展动态，以推动异构融合计算技术的进一步创新和应用。 ----陈艳军中国移动通信集团有限公司信息技术中心部门副总经理 推荐序3 计算力就是生产力，智算力就是创新力。智慧时代的大幕徐徐拉开，无论被动或主动，我们都将见证智算赋能千行百业，助力效率呈百倍、千倍提升的历史时刻。以ChatGPT为代表的AI应用，开启了人机结合的新篇章，它的意义不亚于蒸汽机引发的工业革命，甚至可以媲美人类语言的诞生！然而，AI算力的猛增，也让IT基础架构面临着前所未有的挑战。 感谢组织方和各位参编人员，适时地推出了这份前瞻且系统的《异构融合计算技术白皮书》。从计算领域相关概念出发，系统梳理了异构计算的背景和发展历程，剖析了异构计算面临的问题，进而引出异构融合计算的提法，在硬件、软件和系统层面进行了充分阐释，最后给出了展望和建议。全文较好地遵循了以系统设计为中心的理念，结合融合架构这一发展方向，指出了异构融合计算的三条演进路径：需要在硬件层面实现芯片级和设备级的技术创新，需要在软件层面实现跨平台的编程框架和运行环境，需要在系统层面实现数据中心、网络、算力的融合，具有很强的指导意义。 白皮书最大的亮点在于提出了“异构融合计算”的前瞻性概念，强调实现更深层次的协同，突破各异构系统之间的鸿沟，实现通用性和高性能的更高统一，这一观点前瞻性强，值得业界关注。异构融合计算通过多元融合的软硬件协同，实现大规模计算资源池化，更好地为新型应用提供高性价比的算力服务。 总体来说，白皮书对异构融合计算的概念阐释和技术路线给出了参考，相信在实践中还需要不断丰富和发展。希望大家能够携手并进，共同推动异构融合计算理念的传播，并在产业中得到更广泛的应用，为中国的算力产业和数字经济的发展添砖加瓦。 ----叶毓睿元宇宙产业委副主任委员兼联席秘书长 推荐序4 异构融合技术是一种将不同种类、不同架构、不同性能的计算或处理单元融合在一起的技术。这种技术的目标是充分利用各种硬件的优势，以实现更高的性能、能效或功能扩展。异构融合技术通常涉及不同类型的处理器、加速器、存储设备等的协同工作，以满足日益复杂的计算需求。从整体出发，“以系统为中心”是异构融合的指导思想，浪潮信息的融合架构3.0是其中的典型代表。总的来说，异构融合技术在不同领域都发挥着重要作用，帮助实现更高效、更强大的计算能力，从而推动了科学、技术和应用的发展。因此，本白皮书的提出具有非常重要的指导意义。 在本白皮书中，编者详细介绍了异构融合的概念、应用场景、现有问题以及未来发展趋势。编者还从需求分析的角度出发，深入探讨了异构融合技术在不同领域的应用和需求。这些案例涉及不同领域，包括人工智能、高性能计算等，可以帮助读者更好地理解异构融合的应用和价值。总的来说，这本白皮书对异构融合技术进行了全面的介绍和分析，为读者提供了深入的了解和洞察。同时，编者也进一步探讨了异构融合技术的挑战和问题，以及未来的发展趋势和应用前景。 ----赵雅倩浪潮信息体系结构研究部副总经理 推荐序5 以人工智能ChatGPT为代表的大模型出现，标志着人们对大算力平台的需求缺口从趋势性预警变成迫切的现实。在计算平台的半导体PPA、多层级数据访问架构、总线网络计算负载比重等方面，现有以CPU为中心的计算架构难以应对大算力、高能效的算力扩展需求的挑战。围绕“如何让数据每一跳都产生更多价值的高效能算力架构”科学发展问题，出现了的诸如算网融合、存算结合的多种新型xPU处理器架构，异构融合计算技术正是在这一背景下应运而生的一种创新解决方案。 “异构”是指计算资源或技术具有不同的体系结构、指令集、算法、工作模式等。“融合”是指将不同种类的计算资源或技术进行组合和优化，以实现更高效、更稳定的计算效果。“异构融合”则包含硬件层面（芯片级、设备级）软件层面、系统层面的软硬件协同，既有传统软件的硬件化卸载，也有总线和网络级的融合，整体上形成多种独立的xPU计算引擎间的异构融合互补，甚至表现出一些颠覆性的架构创新，它将引领计算技术的新一轮发展。 《异构融合计算技术白皮书（2023年）》首次从芯片、整机、集群各层级，系统全面的阐述了异构计算技术全栈的历史、现状和前沿探索情况。通过深入浅出的方式，作者让我们了解到异构融合计算技术在提高计算性能、降低功耗以及节约成本等方面的优势。结合实际案例分析，我们更加确信该技术在未来的发展前景。希望能引起异构计算业界对融合创新技术的关注和讨论。 ----阚宏伟紫光集团前沿技术研究院AI&HPC团队首席专家、团队总经理 推荐序6 当前信息产业挑战与机遇并存，数字经济的发展和AI大模型的涌现奠定了算力的生产力、数据的生产资料地位，同时云计算、领域专用架构（DSA）、开源和AIoT技术迅速崛起，种种迹象都在提醒，当前正在孕育着新一代信息技术大变革，我们必须抓住大变革机遇，笃志创新、顺势而为。 硬件和计算模式有难以估量的创新发展空间。摩尔定律失效造成算力增长缓慢，这是目前信息产业面临的重要挑战，对于我们是机遇大于挑战。在后摩尔时代，产业界提出了领域专用架构（DomainSpecificArchitecture,DSA）来应对大数据、人工智能领域对算力增长的需要。云计算的业务形态使得其可以通过将底层异构芯片进行融合、对算力进行抽象和池化，让用户更方便的使用异构芯片和DSA架构，可以说云计算正催生全新计算范式。 操作系统系统软件迎来场景驱动的创新发展大机遇。操作系统是最为基础的系统软件，在异构芯片、DSA架构的适配，权衡计算-数据-网络的距离达到最优资源利用，实现异构融合有其不可替代的地位。在“硬件芯片+操作系统+编译器”相结合的基础上，将软硬件协同的边界拓展到运行时组件，实现硬件芯片、操作系统、编译器等的协同设计，可以说软