语义通信白皮书-2024全球6G技术大会

摘要 在过去几十年中，通信领域的研究主要集中在如何准确有效地将符号从发送端传输到接收端，即语法通信。随着无线通信系统的发展，系统容量逐渐接近香农极限。香农和韦弗将语义通信划分为通信的第二个层次。区别于传统通信将符号的准确传输作为目标，语义通信的主要目的是实现语义信息的准确交互。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。通过对信息语义的提取、编码和传输，语义通信可大幅提升通信效率。随着新一代通信技术和人工智能技术的蓬勃发展，语义通信在人机交互、全息通信、智能制造等领域展现出广阔的应用前景，受到了全球学术界和工业界的广泛关注。 本白皮书全面介绍了语义通信的基本原理、技术模块、应用领域以及关键挑战等，旨在为语义通信在下一代无线网络中的应用提供参考和指导。白皮书详细讨论了语义通信的关键模块，包括语义知识库构建、语义信道联合编解码、语义信息传输以及与现有系统的兼容性，为读者提供了深入了解语义通信技术的基础。进一步探讨了单模态和多模态语义通信系统架构，同时研究了抑制语义噪声的方法，为实现多模态多用户语义通信提供了综合视角。白皮书还关注了语义通信与其他网络的结合，包括数字通信网络、认知网络、分布式网络、安全网络以及卫星网络等，旨在实现高效、可靠和智能化的语义传输。最后，分析了语义通信的现有和潜在应用场景，并探讨了相关的挑战，同时展望了语义通信领域的未来发展，为读者提供了对未来研究和创新方向的启示。 目录 摘要1 1.语义通信概述6 2.语义通信关键模块8 2.1语义知识库8 2.1.1语义知识库使能的现代语义通信8 2.1.2面向语义通信的语义知识库结构体系10 2.1.3语义知识库的构建方法11 2.1.4语义知识库对语义通信的支撑示例12 2.2语义-信道联合编解码14 2.2.1语义编解码14 2.2.2语义信道联合编解码15 2.3语义信息传输16 2.3.1语义信息的传输与挑战17 2.3.2应对现代通信挑战：语义信息传输系统的示例18 2.4语义通信与现有系统的兼容性20 2.4.1语义通信与信源编码兼容20 2.4.2语义通信与经典通信系统的分层架构兼容25 3.单模态语义通信28 3.1面向文本的语义通信28 3.2面向语音的语义通信31 3.3面向图像的语义通信35 3.4面向视频的语义通信37 3.4.1视频传输背景37 3.4.2语义视频传输37 3.4.3语义视频会议38 3.4.4小结40 4.语义噪声抑制41 4.1鲁棒的文本语义通信41 4.2鲁棒的语音语义通信42 4.3鲁棒的图像语义通信43 5.多模态语义通信46 5.1多模态语义通信架构46 5.1.1多模态语义通信中的模态融合设计47 5.1.2多模态语义通信中的抗噪性设计49 5.2多任务的语义通信49 5.2.1多任务语义通信系统研究动机49 5.2.2多任务语义通信系统框架51 5.2.3多任务语义通信主要技术和未来展望52 5.3多用户的语义通信53 5.3.1多用户语义通信主要技术53 5.3.2多用户语义通信系统架构54 5.3.3多用户语义通信资源配置55 6.数字语义通信与波形优化57 6.1数字语义通信网络57 6.2基于OFDM的语义通信波形优化59 6.3全双工语义通信61 6.4基于可预测信道的语义通信64 7.语义通信中的资源管理67 7.1语义通信中的资源分配模型构建67 7.2资源分配的优化目标68 7.3语义通信中的资源管理策略69 7.4语义混合自动重传请求70 7.4.1传统混合自动重传技术70 7.4.2语义混合自动重传系统71 7.4.3小结73 7.5语义错误检测74 7.5.1传统校验检错方法74 7.5.2语义相似度检测技术75 7.5.3句子语义相似度检测76 7.5.4小结78 8.分布式语义通信79 8.1多模态语义中继架构79 8.1.1多模态语义中继架构组成与部署81 8.1.2多模态语义中继架构优势82 8.2分布式协同设备-服务器推理83 8.2.1分布式协同设备-服务器推理组成与部署83 8.2.2分布式协同设备-服务器推理实验性能分析84 9.语义通信中的安全挑战与对策86 9.1语义通信中的模型安全86 9.1.1对抗性攻击与防御87 9.1.2投毒攻击与防御88 9.1.3未来展望89 9.2语义通信中的密码技术89 9.3语义通信中的隐私保护92 9.4语义水印安全通信94 10.面向卫星系统的语义通信98 10.1卫星系统中的高效语义传输98 10.1.1多星语义传输系统99 10.2卫星系统中的高可靠性语义传输100 10.2.1低链路预算下的语义传输100 10.2.2基于语义传输的卫星波束赋形100 10.2.3基于信道预测的语义传输101 10.3卫星系统中的智能语义传输101 11.应用场景103 11.1全息通信103 11.2自动驾驶105 11.3数字平安乡村106 11.4工业智能制造107 11.5智慧仪表108 12.关键挑战109 12.1面向语义信息论的挑战109 12.2基于大模型的语义通信111 12.3标准化112 13.总结与展望114 14.参考文献115 15.缩略语列表124 1.语义通信概述 香农和韦弗指出，通信可分为语法层、语义层和语用层三个层次。依托于香农经典信息论的传统通信属于语法层，用误比特率、误符号率和传输速率等度量标准评估网络性能，并不考虑符号的含义，主要用于解决比特或符号正确传输的技术难题。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。虽然语义通信与语法通信同步被提出，但一直以来由于技术水平和场景需求的限制，人们更注重于语法通信。然而，随着通信技术的迅猛进步，传统通信系统的容量已经逐渐接近香农理论的极限。另一方面，随着人工智能技术的发展和6G网络中对通信智能化需求的增长，语义通信再次成为热门技术。 语义通信是一种全新的通信范式，可以在语义层面解决信息的含义表达与传输问题，将信息含义的理解环节部分或全部移到发送端，从而减少传输量，降低带宽需求。语义通信与传统通信的区别如下：第一是信息的表征方式，语义通信面向通信场景和任务，将符号表征升级为语义特征，使信源内容的语义特征提取和理解移到发送端。第二是服务质量评价准则。语法通信通常以误符号率、丢包率等指标衡量服务质量，无法直接反映用户体验等主观质量。根据场景和任务不同，语义通信采用客观的语义准确性和主观的用户感知质量来共同定义服务质量。与传统通信相比，语义通信系统有更高的传输效率。由于仅传输重要的语义信息而不是全部信息，因此语义通信对传输带宽需求较低，可以提升传输可靠性和传输容量，进而提升无线传输效率。同时，原始信息的重建需要语义解码模型，因此在特定条件下语义通信也可以增强数据安全。 语义通信的系统模型如下图所示，语义通信主要关注信源内容的语义表征、传输与重构，以及基于语义的无线传输。关键环节包括知识库构建、语义编解码和信道编解码等。在理论方面，语义通信研究主要受到香农信息论的启发，通过用逻辑概率替代统计概率， 定义了语义熵、语义率失真、语义信道容量，进而建立了语义通信的理论体系。另一方面，随着人工智能和数据处理能力的提升，基于深度学习的语义特征的提取、编码和传输等算法已成功应用于不同类型的信源。语义通信在多媒体通信、增强现实、沉浸式通信等领域具有广泛的应用前景。 图1.1语义通信系统模型 2.语义通信关键模块 2.1语义知识库 2.1.1语义知识库使能的现代语义通信 图2.1语义知识库使能的现代语义通信架构 随着移动通信和互联网技术的快速发展，高速率、低时延的无线接入需求急剧增加，传统通信系统已趋近于香农理论极限，因此迫切需要新的通信技术的突破。语义通信作为一种内生智能的新型类脑信息交互机制，其语义元素提取、识别、理解、传输和推理过程与人类间信息传输表达类似。在传统通信中，信源符号将按照预设的编码方式映射到比特码流中，其映射函数基于实践经验与准确的数学模型进行设计。在语义通信中，信源将被基于人工智能算法的编码系统映射到基于语义基（Seb）的语义流中，其映射函数的确立基于数据与模型双重驱动的神经网络体系[1]。 传统通信在符号比特流的基础上进行信号处理，与传统通信方式不同，语义通信在语义基的基础上进行信号处理。语义通信中的最小传输与处理单元为语义基，目前语义基还没有明确的定义。广义上来说，所有从源信息提取的语义相关的特征都可以视为语义基。不过，不同方法提取的语义特征或者不同形式的语义特征，肯定都有其不同的特点，其中 一部分可以明显判断其优劣性，而另外一部分就需要根据具体的通信任务和需求来进行判断其优劣性了。这也是语义基具有不确定性的原因之一，因为同一条确切的信息背后所包含的语义元素在不同的通信节点中可能会有不完全一致的理解。因此，关于语义基的定义、获取方式，以及多模态通用统一的语义提取仍是需要深入研究的课题。 语义知识库是语义基框架研究的一个方向，其是一种结构化的且具备记忆能力的知识网络模型，可以为数据信息提供相关的语义知识描述。如图2.1所示，面向语义通信的语义知识库可分为信源知识库、信道知识库、任务知识库，分别为信源数据（如文本、图片、视频等）、信道传输环境（如传输中障碍物位置与形状信息、智能反射面位置信息等）、任务需求（如图片分类、三维重建、语义分割等）提供多层级语义知识表征[1]。在端到端的语义通信中，发送端根据所具备的信源、信道、任务知识库，可以高效获取信源数据的多层级语义知识描述、传输环境的信道语义估计、下游任务的具体语义需求，然后对所要发送的信息进行语义信道联合编码；在接收端，则根据在接收端所具备的语义知识库，对接收到的信息进行知识查询与理解，完成语义信道联合解码。 语义知识库促进了语义通信的发展。例如，当前基于深度学习的信源-信道联合编解码方法需要针对其面向的特定任务，基于大规模的相关数据，进行大量的训练，以获得合适的通信模型。这种对于数据与时间资源的高消耗特性阻碍了深度信源-信道联合编码的推广。而语义知识库作为一种先验知识，为语义通信提供了高效且规范的语义支撑，能够有效加速信源信道-联合编解码网络的训练，减少为了各具体通信任务进行网络训练时对大规模数据的依赖。 下一代无线通信技术面临更复杂多样的通信场景和业务需求，采用不同通信协议的智能体进行互联的场景需求将大量增加。通过语义知识库进行知识共享将有助于人-机-物的高效互联网络建立起统一的知识背景，从而提升异构协议智能体之间的交互效率。配置不同语义通信协议的智能体对语义基的定义与表征存在很大差异，而语义知识库可以一定程度上应对跨协议语义通信时，语义基规范不统一、物理层信号规范不统一等挑战。因为足够大的语义知识库能够涵盖关于各协议对语义基和信号的表征规范。将其分发至跨协议语义通信的异构智能体，可以有效帮助智能体完成面向具体任务的训练。另外，基于语义知识库还可以灵活的更新或增添编解码组件，而无需对智能体已有的语义层和物理层模块进 行删改。通常，语义知识库部署在边缘服务器中，异构协议智能体只需在每一次新建连接前从语义知识库中申请加载相应的语义知识即可，通信的过程则无需语义知识库参与。 语义知识库为语义通信中语义元素的提取、识别、传输、理解和推理过程提供全局知识背景和存储搜索服务。语义知识库定义了高效的搜索空间，规范了搜索路径，大大增加了语义通信的灵活性，为语义通信在更多通信场景下的应用提供了支撑，是语义通信的关键使能技术之一。 2.1.2面向语义通信的语义知识库结构体系 我们首先介绍语义知识库的结构，包含语义知识库的接口及内部的组织形式（如图 2.2所示）。 ①知识库接口设计 图2.2语义知识库示意图 考虑简单的信源与信宿共享相同知识库的情形，信源端利用知识库