基于区块链的算力并网交易平台研究

基于区块链的算力并网交易平台研究 先进计算产业发展联盟 2023年12月 研究报告要点 本课题分析了当前算力交易平台的发展现状，总结了算力用户的需求，包括交易效率、交易模式、激励机制、资源调度机制、可监管、数据隐私安全以及行业标准等。针对以上需求，本课题需要研究的关键技术包括区块链、跨链技术、异构联盟链监管技术、数据访问控制、可信交易技术、隐私保护、智能合约、激励机制、资源调度、前沿密码学方法等。本课题的研究内容主要包括（1）基于区块链的算力交易技术；（2）算力交易激励与资源调度机制；（3）面向监管友好的算力交易数据隐私安全。研究目标是构建面向算力并网的高性能区块链算力交易平台，实现高效的算力交易方法、安全灵活的交易模式、多维度激励机制、合理的资源调度、可监管以及符合行业标准的技术方案。 研究单位：浪潮电子信息产业股份有限公司、中国移动研究院、天翼云科技有限公司、中国信息通信研究院 课题参加人：赵雅倩、张闯、陈燕军、安雨顺、林群阳、刘陆阳、孙丽明、王翰华、黄璜 完成日期：2023年12月 目录 一、研究背景1 （一）算力交易平台国内发展现状1 （二）算力交易平台海外发展现状2 二、问题与挑战5 三、关键技术7 （一）分布式数字身份与可信凭证技术7 （二）链上链下结合的交易处理技术9 （三）多维度激励机制9 （四）数据访问控制10 （五）算力资源调度11 （六）区块链监管11 四、解决方案13 （一）数字身份链13 （二）交易链14 1、交易模式14 2、数据访问授权机制18 3、激励机制18 4、资源调度机制20 5、交易监管26 （三）算力交易平台DAPP28 （四）交易服务通道控制器28 五、总结与展望34 术语与缩略词表35 参考文献36 一、研究背景 2020年以来，国家发布了以“新基建”为导向的一系列加快数字化基础设施建设的政策，旨在提升“联结+计算”能力，重塑产业升级模式。2021年5月，国家四部委发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》，提出“东数西算”架构，打通网络传输，提升跨区域算力调度水平。随着网络通信设备、云计算、边缘计算等基础设施算力能力持续提升，算力泛在化已成为趋势，呈现云网边端多级计算服务架构。算力并网可以整合各种算力资源，形成一个统一的算力网络，对各类应用提供普适多样的算力服务。区块链的防篡改、可追溯、分布式等特性可以为算力并网提供交易技术支撑，激发算力服务提供商的积极性，同时为用户提供安全、可靠且便捷的统一算力服务交易接口，有助于构建基于算力的价值网络，推动基于算力的共享经济和数字经济的发展。 （一）算力交易平台国内发展现状 国内目前算力并网技术主要以政府机构为主导，联合上游硬件厂和下游云计算、科学计算和网络服务提供商，构建算力交易平台。比较有代表性的有宁夏的“东数西算”一体化算力交易平台、国家新兴互联网交换中心主导的上海算力交易平台（SHIXP）以及中国信通院牵头的全国一体化算力算网调度平台。 “东数西算”一体化算力服务平台 东数西算一体化算力服务平台2023年2月24日在宁夏银川正式上线运营。作为国内首个算力交易平台，该平台通过资源整合，已将曙光、华为、中兴、阿里云、天翼云等国内大算力领先的企业，国家信息中心、北京大数据研究院等国内主要的大数据机构，以及商汤、百度等大模型头部企业共计27家纳入平台。该平台作为国内首个可以支持算力交易调度的应用系统，为智算、超算、通用算力等各类算力产品提供算力发现、供需撮合、交易购买、调度使用等综合服务，将有效结合东西部算力发展需求，助力形成自由流通、按需配置、有效共享的数据要素市场，赋能东西部数字化发展。 上海算力交易平台 在2023年4月26日举办的“算力浦江”（首届）数字经济发展论坛上，上海算力（试运行）交易平台正式启动，这是依托国家（上海）新型互联网交换中心（简称“SHIXP”）平台交换架构的独特性，先行先试探索打造的全国首个算力交易集中平台。依托SHIXP，上海算力（试运行）交易平台的近景目标是：到2023年底，初步建成算力调度平台，探索算力交易运营机制；进一步扩大交换流量规模，实现上海市内算力资源调度。据悉，上海电信、上海移动、上海联通、上海铁塔、东方有线、腾讯云、有孚云等已入驻上海算力（试运行）交易平台。本次论坛上，14家首批入驻算力交易平台的企业与SHIXP分别签约，将展开深度合作，资源共享、协同合作，共同推进数字产业的发展。目前上海算力指数排名位列全国第一，综合算力指数排名位列全国第二。截至2022年底，上海在用标准机架数41.5万，同比增长15%，算力总规模近9Eflops。 全国一体化算力算网调度平台 2023年6月5日，由国家工业和信息化部主办，中国信息通信研究院等承办的“算力创新发展高峰论坛”在京召开。会上，中国信通院联合中国电信共同发布我国首个实现多元异构算力调度的全国性平台——“全国一体化算力算网调度平台（1.0版）”。该平台统一整合通用算力、并行算力、边缘算力等多源异构算力资源，实现不同厂家、不同硬件结构资源池的算力只能管理分发调度。尤其在对算力要求较高的AI训练应用中，该平台通过整合跨资源池、跨平台、跨厂商的异构算力实现分配调度。目前，已有天翼云、华为云、阿里云等云服务厂家接入该平台。“全国一体化算力算网调度平台”的发布，不仅有利于贯彻落实国家“东数西算”工程要求，促进东部数字经济产业链向西部延伸拓展，同时还将推动算力资源的精准配置和按需获取，有效降低算力能源消耗，助力区域协调发展和信息通信行业碳达峰、碳中和目标达成。 （二）算力交易平台海外发展现状 海外算力并网项目大多基于现有的分布式计算（Distributedcomputing）和云计算（Cloudcomputing）项目进行开发和扩展。本节主要介绍两个规模和知名度最高的项目：美国的BOINC[6]和欧盟的EGI[7]。 伯克利开放计算网络（BerkerleyOpenInfrastructureforNetworkComputing，BOINC） BOINC是由伯克利提出的网络计算开放基础设施项目。其主要面向志愿计算（Volunteercomputing，是一种分布式计算构架）的开源中间件分布式计算系统。BOINC最早设计是用于支持SETI@Home项目，该项目旨在通过计算分析外太空无线电信号来探索地外生命和文明的研究计划。目前BOINC已经在医药学、分子生物学、数学、语言学、气候变化研究、环境科学以及星体物理学等领域展开了广泛的应用。截止2021年11月，BOINC项目包含了34236名志愿者、136341台活跃计算节点共计20.164PetaFLOPS算力。BOINC的软件系统可以将并入计算网络中结点的空闲CPU和GPU用于共享计算网络中的科学计算任务。2008年BOINC与英伟达合作开发了BOINC系统的CUDA支持。2009年与ATi/AMD合作新增了ATi/AMDGPU的计算支持。BOINC系统中有一套可信计算系统（Creditsystem），通过该系统来防止故障硬件和欺诈。同时对返回的计算结果进行校验，保证计算结果的可靠性。 目前BOINC正在与区块链技术进行整合，通过BOINC完成的计算任务会反馈积分，用户可以将积分兑换COP代币。目前BOINC和区块链结合方式还比较简单，主要就是积分，未来BOINC计划基于智能合约让其产生真的代币，同时也会和一些知名的公链进行合作，在区块链上进行深耕。 欧洲网格计算基础设施（EuropeanGridInfrastructure，EGI） 2008年5月，为了利用网格计算技术促进科学计算和科技进步，欧盟提出建立EGI，欧洲网格计算基础设施。EGI旨在通过利用网格计算技术将欧盟成员国的计算基础设施进行连接，共同服务于欧盟在生物医药、星体科学、高能物理、生物信息学等领域的科学计算项目。截止2021年，EGI项目已经累计为78,100 位用户提供了508万云CPU时、支撑了27项欧盟科研计划和450万次作业提 交，参与贡献的有超过800个终端和多达150个数据中心。 根据不同的应用实例，EGI向科研人员和社区提供包括批量计算（Batchcomputing）、交互计算（Interactivecomputing）、联邦数据访问（Federatedaccessanddatafederation）、数据空间（Dataspace）以及服务部署（Servicehosting）等服务。批量计算服务为用户提供批量计算访问的API接口，其通过EGI计算集 群提供的高吞吐量计算、在线云存储和负载管理模块根据计算任务需要提供量化、可扩展和成本资源优化的计算服务。交互计算服务基于JupyterNotebooks提供交互式数据分析和可视化的接口，同时通过EGI社区提供的云存储、云计算以及相关技术服务支持为用户提供一站式、易用的交互式科学计算体验。联邦数据访问和数据空间服务基于联邦学习技术，提供安全、透明的数据访问与计算服务，为EGI社区提供安全、高效、多样化的数据访问与使用技术解决方案。服务部署模块基于EGI联邦计算集群和EGI网络，提供安全、高效、高可用的专用服务器节点供用户部署计算服务。 二、问题与挑战 基于区块链的算力并网交易平台面临的挑战主要包括以下几方面：交易效率、交易安全、交易多样性、交易激励因素复杂性、交易可监管性以及资源调度。 交易效率 交易数据上链过程的开销大且比较耗时，简单概括上链过程包括交易数据入记账队列、打包新区块、交易共识（如DPOS、PBFT共识）、以及广播到所有节点进行存储。由此可见，数据上链的开销包括共识开销、计算开销、网络开销及存储开销，而且上链过程受队列调度、共识算法处理、网络广播等因素影响，会产生时间延迟。因此并不是所有数据都应该上链，而要充分考虑开销和效率，让无需上链的数据（如：非全局性的、无需多方共识的、数据量大的、计算繁杂的）放到链下处理。以下棋为例进行说明，棋手的每一步棋并不需要实时上链，而在棋局结束时，比如总共下了几百手，那么将这几百手的记录汇总起来，连同输赢结果上链，以便记录战绩。对弈双方的每步棋的数据可以通过链外系统进行通信，可以达到实时、高效的数据传输。算力交易具有小额、高频交易特征，给系统处理性能带来很大挑战。 交易安全 交易安全问题，主要涉及两方面，包括数字身份安全和数据（包含交易数据和用户数据）隐私安全。 （1）数字身份安全 针对分布式系统，用户身份被假冒会造成很大损失，比如在NFT平台艺术家劳夫曼的作品在他不知情的情况下被拍卖。因此用户数字身份安全认证及数字身份管理对交易平台来说至关重要。 （2）数据隐私安全 对于分布式交易系统，交易数据是否公开，不公开的话应该允许哪些用户查看，另外也要解决用户隐私数据保护问题。 交易多样性 算力供应商和用户对计费的策略需求不尽相同，因此，如何支持丰富多样的算力交易模式，提出一种可以满足用户和供应商多样性需求的算力交易模型也是本项目的一个难点。另外还需要解决信息孤岛问题，支持交易数据在不同平台之 间可信流转。 交易激励因素复杂性 常见的竞价机制是按价格优先与时间优先的原则排序，将买卖指令配对竞价成交，但算力交易平台需要结合激励条件（如低碳、绿色能源优先、电力利用率、公益、慈善等社会效益）对算力竞价机制做一些调整，构建一套结合竞价与激励机制的参数模型，把多维度的数据综合考量，达到更好的社会效益。 交易可监管性 监管对于保障交易系统的用户权益至关重要，因此需要对区块链交易进行监管，设计出可追溯可屏蔽的面向监管友好的区块链交易平台。目前公有链在国内不被法律允许，因此普遍使用联盟链技术，联盟链监管存在以下挑战：一方面，不同平台间未建立有效的信息共享机制，不互通不协同，存在封闭性、敏感性、异构性的难题；另一方面，传统的监管技术往往难以涵盖持续变化的监管需求，也难以适应各种异构底层区块链技术。 资源调度 算力资源调度机制主要根据用户提供的需求