摘要：2024年12月20日，是澳门回归祖国25周年的日子，央视多个平台回顾了回归时的珍贵历史场景，清晰的影像高度再现了那个令亿万中国人激动、难忘的日子，而让历史影像从模糊变高清的正是西安电子科技大学图像传输与处理研究所的副教授何刚和他的学生们。

2024年12月20日，是澳门回归祖国25周年的日子，央视多个平台回顾了回归时的珍贵历史场景，清晰的影像高度再现了那个令亿万中国人激动、难忘的日子，而让历史影像从模糊变高清的正是西安电子科技大学图像传输与处理研究所的副教授何刚和他的学生们。

“在收到央视合作邀约的时候，我们还是很激动的，毕竟这是一件很有意义的事情”。

在何刚实验室里的大屏上，显示着在澳门回归政权交接仪式上担任升旗手、护旗手的三位仪仗队队员手捧国旗的对比照片，从模糊到清晰，何刚正是用图像所团队自主研发的AI智能视频增强算法成功修复了历史照片，并将其增强至清晰的超清影像，仿佛轻轻拂去了时间为历史记忆蒙上的尘埃，“这张照片非常重要，因为需要从这张照片切入到整个故事背景中，所以我们也是花了很多工夫，还原了包括三位旗手的穗带纹理、军帽上帽徽的细节等等”。

影像修复对何刚而言并不是一项新的技术。从海外留学攻读博士到入职西电，何刚从事全链路智能视频传输和处理已有15年的时间，他的工作覆盖了从拍摄及上传端的视频质量评估分析、修复增强预处理、压缩编解码传输以及解码后处理增强等全链路多环节。

“要对某个视频进行修复处理，首先要想办法知道这个视频画质损伤的问题类型以及程度，就像医生给病人看病首先要做检查”，为了探索视频画质损伤类型和程度等问题，何刚需要为视频开出“检查单”，并针对“检查”出的“问题”对症下药，“首先我们用到的是视频质量评估算法，从7个维度对视频进行打分，不仅要知道视频在哪些方面存在问题，并且要了解问题的严重程度，就像医生诊断，得根据病人病症的轻重来开药，有些轻微病症不能开药力太强的，重一些的病症开药效轻的就没效果”，视频质量评估算法不仅用于对视频质量类型和程度的有效检测，也可融合感知修复技术，提供自适应的视频修复能力。

经过团队视频质量评估算法的检测甄别之后，何刚就需要根据不同维度存在的问题进行有针对性的修复。

“视频在传输、储存的时候往往会有一个压缩的过程，这其实是一个去空域和时域冗余的过程，然而这个过程会不可避免地造成视频信息损失和失真现象”，针对这一问题，团队使用了自主研发的被人工智能顶会AAAI2022录用的TSAN（Transcoded Video Restoration by Temporal Spatial Auxiliary Network）算法，通过时间和空间的双重辅助网络，精准地修复了由于编码转码引起的质量衰减问题，有效恢复了视频中的细节与清晰度，提升了图像的整体质量。

在面对影像中大量的人像时，如何避免“美颜”过度，是何刚团队需要解决的主要问题。“我们用了自研的最新的PGTFormer视频人脸修复算法，针对视频中人脸的压缩损伤和模糊现象进行了精细化的修复”，这一项被IJCAI2024录用的算法在人脸修复和增强方面有着突出的表现，它结合了深度学习方法，精准重建了人脸的细节结构，保留了面部原有的阴影与轮廓，同时强化了眼睛、嘴唇等关键部位的细节，在确保人脸修复清晰的同时也最大限度地保持了人脸的自然感。

除此之外，为了应对视频色彩范围和对比度不足的问题，团队还引入了自研的HDCFM（SDRTV-to-HDRTV via Hierarchical Dynamic Context Feature Mapping，ACM MM2022录用）算法，这项技术通过层次化的动态上下文特征映射，极大增强了视频的色彩保真度与亮度表现，使得视频画面在色彩还原上更加真实，做到了视频修复的“修旧如旧”。

“看着模糊的历史影像在我们面前逐渐变得清晰，我们为能参与到这样一个重要又特别的项目中而感到激动，同时，也觉得我们做的这份工作是很有意义的”，何刚坦言。

与市面上现有的部分影像修复软件不同，何刚团队的影像修复具有“自适应性”，根据不同影像情况匹配不同算法，并且，这些算法各具优势。“见多识广”是算法的第一个特点，“我们利用大规模数据集进行模型训练，收集的数据非常多，大概有几十万对到百万对内容，这几个算法训一轮大概就需要一周左右的时间”，正因为前期训练量庞大，算法在面对不同视频画面和纹理时就可以准确识别并进行修复，“这就像医生，见的病症多了，自然诊断就更准确，看得就更好”。

得益于视频质量评估算法在深度学习中的模块化嵌入，何刚能够根据视频损伤程度对其进行修复，以确保算法能够有的放矢地将修复均匀性做到最好，“就像我们不是用统一的一种感冒药既去治疗重感冒，又去应对轻微的风寒”。

“我们的第三个特点就是对生成式人工智能的运用”，目前，生成式人工智能还存在不同程度的不稳定性，但其生成的视频效果又相当“惊艳”，很多人因此对生成式人工智能“又爱又恨”，“我们在部分场景中使用了生成式人工智能，但不是简单的套用，而是在前期训练过程中就加入了很多约束条件，因此能够保证在不出错的前提下用生成式人工智能达到我们想要的效果”。

对何刚团队来说，澳门回归珍贵历史影像的修复只是他们工作中的一个部分，工作内容很平常，但这段经历却很不平常。不管是修复这样珍贵的影像原始素材，抑或是通过技术手段让我们能在手机等消费终端看到更清晰的影像，还是利用全链路图像处理技术保障国家重大项目、交通行业、机器人等领域中的视觉传输以及后端检测识别等感知任务，何刚与他的团队都一直在努力。（通讯员：王格）

来源：未来网高校