摘要：6G愿景中海量智能连接导致图像传输需求呈现爆发式增长。然而，传统基于像素级/符号级的图像传输需消耗大量通信资源，且图像数据中存在大量与任务不相关的冗余信息，导致通信效率低。针对该问题，语义通信作为一种新兴通信范式，其通过提取和传输关键语义特征提升通信效率。然而
【语义通信与语义信息论
基础理论与关键技术】专题
基于生成对抗网络的图像语义HARQ重传技术
符颢议，王旭，李永康，施政，杨光华
（暨南大学智能科学与工程学院，广东 珠海 519070）
【摘 要】6G愿景中海量智能连接导致图像传输需求呈现爆发式增长。然而，传统基于像素级/符号级的图像传输需消耗大量通信资源，且图像数据中存在大量与任务不相关的冗余信息，导致通信效率低。针对该问题，语义通信作为一种新兴通信范式，其通过提取和传输关键语义特征提升通信效率。然而，噪声的存在和通信链路的时变性造成语义差错，损害语义通信的可靠性，进一步影响任务的执行。不同于传统基于代数理论的信道编码，语义通信缺乏完善的纠检错理论与差错控制机制。为了实现通信的语义级差错恢复，提出利用生成对抗网络（GAN）实现图像语义的纠错器，并通过监督学习实现语义检错器，当未能纠正错误时引入混合自动重传请求（HARQ）技术提升图像语义传输的可靠性。具体而言，通过数据级融合策略实现多次重传的图像语义信息的等增益合并，提升图像语义的接收质量。最后，实验仿真结果表明所提的图像语义HARQ方案有效提高了接收图像的多尺度结构相似性（MS-SSIM）和神经感知度量指标（LPIPS），尤其在低信噪比条件下所提出方案相较于无重传策略在峰值信噪比（PSNR）、MS-SSIM与LPIPS均有显著的改善。此外，仿真结果还验证了当信噪比高于2 dB时，引入纠错器方案的平均传输次数相较于无纠错器方式能够降低重传约1次。
【关键词】混合自动重传请求；生成对抗网络；语义通信；图像传输；差错控制
doi:10.3969/j.issn.1006-1010.20250524-0003
中图分类号：TN929.5 文献标志码：A
文章编号：1006-1010(2025)07-0061-07
引用格式：符颢议,王旭,李永康,等. 基于生成对抗网络的图像语义HARQ重传技术[J]. 移动通信, 2025,49(7): 61-67.
FU Haoyi, WANG Xu, LI Yongkang, et al. Image Semantic HARQ Retransmission Based on Generative Adversarial Networks[J]. Mobile Communications, 2025,49(7): 61-67.
0 引言
移动通信技术遵循“十年一代”的发展规律，当前正经历从5G“万物互联”向6G“智能万物互联”的范式转变。6G的核心目标是为通信网络赋予实时感知与深度认知能力，由此驱动智能交通系统、智能家居、工业自动化等各类智能应用对图像传输需求的激增[9]。然而，传统图像传输方法面临双重挑战：完整图像传输需要消耗大量带宽与计算资源，且传输数据中混杂大量与任务无关的冗余信息，导致传输效率低下。针对这一困境，语义通信作为新兴范式应运而生，其通过提取并传输原始数据中的特征而非原始数据来提升通信效率[10]。 当前语义通信的主流架构为联合源信道编码（JSCC, Joint Source and Channel Coding），其采用神经网络替代传统信源编码与信道编码，实现端到端的联合训练。Bourtsoulatze等人[1]率先提出基于卷积神经网络（CNN, Convolutional Neural Network）的JSCC方案，该方案引发广泛关注并衍生出一系列改进型研究[4, 6, 11-12]。这些方案在性能上达到与采用现代图像压缩标准（JPEG/JPEG2000/BPG）及低密度奇偶校验码（LDPC）[19]等先进信道编码技术的传统通信系统相当的传输质量，同时凭借简化的处理需求获得更高的计算效率。 近年来，研究重心转向增强语义通信系统的鲁棒性。例如，Yang等人[13]提出基于视觉Transformer（ViT）的无线图像传输框架WITT，其通过捕捉全局依赖关系并适应动态信道环境，性能优于传统CNN架构；Peng等人[8]研发的DeepSC-RI系统利用深度学习技术提升图像传输对语义损伤的鲁棒性；Hu等人[2]则通过对抗训练、噪声相关掩蔽和特征重要性模块构建了抗语义噪声的鲁棒框架。除鲁棒性外，可靠性作为无线通信尤其是图像传输的关键性能指标，其保障至关重要——数据丢失或损坏将严重影响传输图像质量。在遥感监测、视频会议、自动驾驶等对图像质量敏感的应用场景中，可靠的图像传输是系统性能的基础保障。混合自动重传请求（HARQ, Hybrid Automatic Repeat Request）作为确保无线通信可靠性的重要技术，其在语义通信系统中的应用对提升传输可靠性具有重要价值。具体而言，Jiang等人[5]采用Reed-Solomon信道编码实现HARQ机制，通过相似性网络替代传统循环冗余校验（CRC, Cyclic Redundancy Check）进行差错检测；Zhou等人[15]则开发了融合增量知识的自适应语义编码框架，通过多比特长度选择提升对动态信道环境的适应能力。然而，现有语义HARQ研究仍依赖传统信道编码技术，这与JSCC框架存在内在兼容性问题。此外，针对语义通信系统中图像传输的可靠重传机制研究尚属空白。为此，本文提出基于生成对抗网络（GAN, Generative Adversarial Networks）[16]的语义错误检测器与纠正器，通过识别并修复传输错误，将HARQ机制有效融入图像语义通信（ISC, Image Semantic Communication）系统。同时设计特征级融合方法以提升重建图像质量。1 系统模型
2 错误检测和纠正机制
2.1 错误检测机制
2.2 错误纠正机制
3 实验结果
3.1 实验设置以及测试数据集
使用DIV2K数据集来训练所提出的错误检测和错误纠正模块，并在Kodak、CLIC2024数据集上验证了所提框架的性能。在错误检测模块的训练中，采集了在不同信噪比条件下传输的图像，将在低信噪比下收到噪声污染严重的图像标记为NACK,将原始的图像和经过传输后的质量较好的图像标记为ACK。在错误纠正模块中，采集了不同信噪比条件下经过传输的图像，和原始图像组成图像对。所有上述提到的图像都被随机裁剪为256×256的图像，同时，HARQ的最大重传次数设置为3。采用峰值信噪比PSNR、多尺度结构相似性MS-SSIM和神经感知度量指标LPIPS作为评估指标，其中PSNR反映了处理后图像和原图像像素层面的相似性，而MS-SSIM和LPIPS则反映了两张图片在结构和感知上的相似性。
3.2 消融实验
为了评估校正机制的效果，使用140张传输后失真严重的图像进行测试。表1展示了实验结果。很明显，尽管峰值信噪比PSNR有所下降，但MS-SSIM和LPIPS却有所提升，这证实了校正机制能够减少感知失真，事实上这符合有损图像压缩领域的“率失真理论”[20]。此外，接受率从2.14%提高到了45.7%，显著减少了重新传输的需求。换句话说，引入相关机制减轻了由于重新传输而导致的延迟增加。此外，图4展示了在瑞利信道中具有错误纠正模块和没有错误纠正模块下，不同SNR下的重传次数和传输成功率，证实了在本文提出的基于生成对抗网络的语义HARQ中，错误纠正器能够显著减少重传的次数。图5则展示了瑞利信道下纠错模块对各项指标的影响，可以观察到在SNR3.3 各项指标对比
图6绘制了在加性高斯白噪声（AWGN）和瑞利信道（Rayleigh channel）中性能与信噪比的关系。为了进行基准比较，采用未启用HARQ的JSCC图像传输系统作为基准（标记为w/o HARQ-ICS）。从图6可以看出，与无HARQ相比，所提出的HARQ-ISC通过反馈重传在低信噪比下极大地提高了多尺度结构相似性指数MS-SSIM、感知损失指标LPIPS和峰值信噪比PSNR。这一结果与本文提出的假设相符，即所提出的HARQ-ISC能够在低信噪比下提高图像语义通信的可靠性。此外，当信噪比达到5分贝时，尽管峰值信噪比有所下降，但该框架实现了更好的LPIPS和MS-SSIM性能。在高信噪比下，所提出的HARQ-ISC会导致性能指标下降。这是因为信号可以在几乎无失真的情况下传输，此时错误校正器无法很好地发挥作用。它会移除图像中类似于噪声的高频信息，从而导致不同指标的下降。总体而言，本文的方法在低信噪比条件下表现出优越性。图7绘制了在加性高斯白噪声和瑞利信道中平均重传次数和传输成功率。从图7可以很容易地看出，随着信噪比的增加，平均重传次数呈下降趋势，而成功率呈上升趋势。这表明在低信噪比时对重传方案的需求更大，并且所提出的HARQ-ISC方案以增加延迟为代价提高了可靠性。
图8展示了在AWGN信道下，所提HARQ-ISC纠正图像错误提高图像质量的一个具体例子。原始图像（original image）经过第一次传输后解码得到图中所示的Transmission 1，经过错误检测器判断为NACK后被送入错误纠正器，得到Error Correction 1后再次送入错误检测器被判断为NACK，则进行重传，随后经过第二次传输解码和特征融合后得到Transmission 2，上述过程重复直到图片被判断为ACK或达到最大重传次数为止。
4 结束语
本文提出了HARQ-ISC，这是一种用于图像语义通信的新型HARQ框架，集成了联合设计的语义错误检测器和基于GAN的语义错误校正器。所提出的检测器、校正器架构通过对抗训练能有效地识别传输错误，并提高图像重建质量。实验结果验证了HARQ-ISC的有效性，表明其在低信噪比环境中的优越性。这些发现突显了语义HARQ在提高语义通信系统可靠性和鲁棒性方面的潜力。然而，语义通信作为一个新兴的研究反向，其中许多重要的概念还没有准确的定义，对于语义错误的定义也尚无定论。因此，未来的工作将更多地集中在对语义通信中产生的错误进行研究，寻找更加可靠的界限来界定语义错误。同时通过引入更多人工智能方向的技术实现语义通信的检错纠错，从而提高语义通信的鲁棒性和可靠性。
[1] Bourtsoulatze E, Kurka D B, Gunduz D. Deep Joint Source-Channel Coding for Wireless Image Transmission[J]. IEEE Trans. Cogn. Commun. Netw., 2019,5(3): 567-579.
[2] Hu Q, Zhang G, Qin Z, et al. Robust Semantic Communications With Masked VQ-VAE Enabled Codebook[J]. IEEE transactions on wireless communications, 2023,22(12): 8707-8722.
[3] I Isola P, Zhu J Y, Zhou T, et al. Image-to-Image Translation with Conditional Adversarial Networks[J]//IEEE/CVF Conf. Comput. Vis. Pattern Recognit.(CVPR). 2017: 1125-1134.
[4] J Jankowski M, Deniz Gündüz, Mikolajczyk K. Wireless Image Retrieval at the Edge[J]. Selected Areas in Communications, IEEE Journal on (J-SAC), 2021,39(1): 12.
[5] J Jiang P, Wen C K, Jin S, et al. Deep Source-Channel Coding for Sentence Semantic Transmission With HARQ[J]. Communications, IEEE Transactions on, 2022,70(8): 5225–5240.
[6] Kurka D B, Gunduz D. Deep JSCC-f: Deep Joint Source-Channel Coding of Images with Feedback[J]. IEEE Journal on Selected Areas in Information Theory, 2020,1(1): 178-193.
[7] Liang J, Cao J, Sun G, et al. SwinIR: Image Restoration Using Swin Transformer[C]//IEEE/CVF Int. Conf. Comput., 2021: 1833-1844.
[8] Peng X, Qin Z, Tao X, et al. A Robust Semantic Communication System for Image[J]. arXiv preprint arXiv:2403.09222 (2024).
[9] Pokhrel S R, Choi J. Understand-Before-Talk(UBT): A Semantic Communication Approach to 6G Networks[J]. IEEE Transactions on Vehicular Technology, 2022,72(3): 3544-3556.
[10] Tang Y, Zhou N, Yu Q, et al. Intelligent Fabric Enabled 6G Semantic Communication System for In-Cabin Scenarios[J]. IEEE Trans. Intell. Transp. Syst., 2022,24(1): 1153-1162.
[11] Wang J, Wang S, Dai J, et al. Perceptual Learned Source-Channel Coding for High-Fidelity Image Semantic Transmission[C]//2022 IEEE Glob. Commun. Conf., 2022: 3959-3964.
[12] Xu J, Ai B, Chen W, et al. Wireless Image Transmission Using Deep Source Channel Coding with Attention Modules[J]. IEEE Trans. Circuits Syst. Video Technol., 2021,32(4): 2315-2328.
[13] Yang K, Wang S, Dai J, et al. Witt: A Wireless Image Transmission Transformer for Semantic Communications[C]//2023 IEEE Int. Conf.Acoust. Speech Signal Process. 2023: 1-5.
[14] Zhang R, Isola P, Efros A A, et al. The Unreasonable Effectiveness of Deep Features as A Perceptual Metric[C]//IEEE/CVF Conf. Comput. Vis. Pattern Recognit.(CVPR). 2018: 586-595.
[15] Zhou Q, Li R, Zhao Z, et al. Adaptive Bit Rate Control in Semantic Communication with Incremental Knowledge-Based Harq[J]. IEEE open j. Commun. Soc, 2022,3: 1076-1089.
[16] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Nets[J]. Advances in Neural Information Processing Systems, 2014,27.
[17] Wang Z, Simoncelli E P, Bovik A C. Multiscale Structural Similarity for Image Quality Assessment[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003,2: 1398-1402.
[18] Radford A, Kim J W, Hallacy C, et al. Learning Transferable Visual Models From Natural Language Supervision[C]//International Conference On Machine Learning. PmLR, 2021: 8748-8763.
[19] Gallager R. Low-Density Parity-Check Codes[J]. IRE Transactions on Information Theory, 1962,8(1): 21-28.
[20] Blau, Yochai, Tomer Michaeli. Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff[C]//International Conference on Machine Learning. PMLR, 2019.★
★原文刊发于《移动通信》2025年第7期★
文章编号：1006-1010(2025)07-0061-07
引用格式：符颢议,王旭,李永康,等. 基于生成对抗网络的图像语义HARQ重传技术[J]. 移动通信, 2025,49(7): 61-67.
FU Haoyi, WANG Xu, LI Yongkang, et al. Image Semantic HARQ Retransmission Based on Generative Adversarial Networks[J]. Mobile Communications, 2025,49(7): 61-67.
作者简介符颢议：暨南大学在读硕士研究生，主要研究方向为语义通信。
王 旭：现任暨南大学讲师，主要研究方向为人工智能、信息论、语义通信。
施 政：现任暨南大学教授，主要研究方向为人工智能、智能通信、物联网等。
★往期推荐★【6G卫星互联网】2025年第6期专题论文汇总（19篇）
《移动通信》杂志由中国电子科技集团公司主管，中国电子科技集团公司第七研究所主办，是中国期刊方阵“双效期刊”、工业和信息化部精品电子期刊、中国科技论文统计源刊、中国通信学会《信息通信领域高质量科技期刊分级目录》入选期刊、中国电子学会《电子技术、通信技术领域高质量科技期刊分级目录》入选期刊、中国应用型核心期刊、日本JST收录期刊。国内连续出版物号：CN44-1301/TN，国际连续出版物号：ISSN1006-1010，邮发代号：46-181。
来源：移动通信编辑部