基于非配对学习的提升视频清晰度的方法及装置

本发明提供一种基于非配对学习的提升视频清晰度的方法及装置，包括：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取高低清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度‑非配对高清晰度图像数据集；建立基于卷积神经网络的低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器；通过综合目标函数训练生成对抗网络，使得两个生成器都能实现更好的低高清晰度图像域之间的相互映射。本发明使用视频内容主体相似的非配对真实低高清视频进行训练，跳脱出了以往配对学习方法中特定质量退化方式的限制，利用非配对学习的方法实现了低清晰度视频图像的联合增强。
上海交通大学
宋利 | 陈晋进 | 解蓉 | 甘文耀