0 引言

视频编码技术^[1]有效地压缩了视频数据.然而，当视频以低比特率编码时，压缩后的视频会出现许多失真，如基于块结构编码引起的块伪影和变换编码引起的振铃伪影.这些压缩失真可能会严重影响压缩视频的体验质量（Quality of Experience，QoE）.因此，为了有效地提高压缩视频的质量，特别是在低比特率下编码的视频，研究一种先进的视频质量增强方法是非常重要的.

在过去的几十年里，许多传统的质量增强方法^[2-8]被提出来消除压缩视频的失真，这些方法可以分为环路滤波和后处理.环路滤波类方法^[2-5]用于编码中增强重建帧的质量，但是受限于编解码端的复杂度，环路滤波的增强性能并不令人满意.因此，后处理质量增强方法^[6-8]被用在编码后，来进一步增强压缩视频的质量.然而，这些传统方法识别和消除失真的能力是不够的，许多压缩伪影仍然保留在压缩视频中.

最近，深度学习方法^[9-19]在压缩视频增强领域取得了巨大成功.Dai等^[9]考虑到视频编码中的可变编码块大小不一，在已有深度学习方法的基础上，使用两种不同大小的滤波器组合并提出了一种基于可变滤波器的残差学习卷积神经网络（Variable-filter-size Residue-learning Convolutional Neural Network，VRCNN）的环路滤波方法.Yang等^[10]提出一种用于压缩视频增强的多帧质量增强方法，通过将高质量帧和目标帧融合后送入网络中，低质量帧可以被邻近的高质量帧增强.接着Guan等^[11]更新了多帧方法中的高质量帧搜寻器，并增加网络的深度，实现了更好的增强性能增益.Zhang等^[12]提出一种用于高效视频编码的环路滤波的残差公路卷积神经网络（Residual Highway Convolutional Neural Network，RHCNN），文中提出的公路单元可以使原始信息传送到网络深层中，大大改善了RHCNN的性能.Yang等^[13]提出一种质量增强卷积神经网络（Quality Enhancement Convolutional Neural Network，QECNN），它使用两个独立的网络分别学习帧内和帧间的失真特征.Zhang等^[14]基于残差学习提出一个全新的网络结构作为新一代视频编码的后处理方法.Zheng等^[15]采用一种新的收敛机制，自适应地融合不同网络的增强结果，同时保留了平坦区域和丰富的纹理.Ding等^[16]设计了一种基于块的时间空间质量增强方法，并采用时空注意融合模块来融合不同特征，取得了很好的多帧质量增强效果.Meng等^[17]提出一种多帧引导注意力网络，通过融合运动信息、时间信息和块划分图，在高比特率下和运动场景下取得了很好的效果.考虑到屏幕内容视频中存在大量的颜色相似区域，Huang等^[18]提出基于跨帧信息融合的多帧信息交叉融合屏幕内容质量增强网络.Luo等^[19]提出一种渐进式的多帧质量增强方法，由粗到细融合了视频的时间空间信息.

现有方法可以很好地去除压缩损失，但是当压缩视频以高码率编码时，视频中的压缩伪影将会减少，细节增多，均不能很好地区分损失和细节，往往会忽略压缩视频的细节，将细节特征当成失真特征一同去除.为了解决这个问题并在去除视频损失的同时丰富视频的细节信息，受到视频增强^[9-19]及其他领域^[20-25]提出的新颖的深度学习模型启发，本文提出一种细节还原卷积神经网络（Detail Recovery Convolutional Neural Network，DRCNN），此网络主要由两个分支组成：主去噪分支和细节补偿分支.本文主要工作如下：

１）当压缩视频处于低码率时，视频中呈现的损失主要为全局损失，而大的感受野通常可以很好地捕捉全局损失．因此本文提出一个基于多尺度的大感受野的分支：主去噪分支．在此分支中，由于压缩视频中损失特征的尺寸通常不统一，因此本文还采用新颖的多尺度失真特征提取块 （Multi-scale Distortion Feature Extraction Block，MDFEB）提高了整体网络对于不同种类失真特征的提取能力．

2）因为主去噪分支更加关注全局损失，在去除局部损失的同时会去除掉同属于高频特征的细节信息，所以本文提出了基于预训练的50层残差网络（Residual Network-50，ResNet-50）^[26]的细节补偿分支，将压缩视频中的细节特征提取出来补偿回增强视频中，还原出丢失的细节信息.在此分支中，由于ResNet-50中的特征丰富且繁杂，本文提出了一个基于压缩激活机制的细节响应块（Detail Response Block，DRB）将丰富的特征中的细节特征标注并提取出来，增强分支的细节提取能力.

1 基于细节还原卷积神经网络的压缩视频增强方法

为了有效地消除压缩失真，提高压缩视频的细节视觉质量，本文提出了一种基于DRCNN的压缩视频质量增强方法，DRCNN的结构如图1所示，由两个分支组成：主去噪分支和细节补偿分支.由于大量的损失出现在全局尺度，因此本文提出一个感受野逐渐扩大的主去噪分支.在此分支中提出一个多尺度失真特征提取块以提取出压缩视频的多尺度失真特征，然后将压缩视频和获得的失真特征融合提取，最终重建一个高质量的去噪视频.接着，为了恢复主去噪分支中丢失的细节特征，本文还提出一个细节补偿分支，以进一步改善压缩视频的细节.在此分支中，通过使用预训练的ResNet-50设计了一个内容特征提取器，并采用多个细节响应块来关注压缩视频的细节，从预训练的ResNet-50的内容特征中提取细节特征.

DRCNN的输入是低质量的压缩视频，而输出是增强的高质量压缩视频.为了有效提高压缩视频的质量，压缩视频被送入主去噪分支和细节补偿分支，分别获得去噪视频和细节图.在细节图的帮助下，去噪的视频被进一步增强.这个过程可以表示为

其中，I_c 和O_e 分别代表压缩视频和增强的高质量视频，f_d 和 f_c 分别代表去噪视频和细节图，F_d（）和 F_c（）分别代表主去噪分支和细节补偿分支，$\oplus$表示元素相加操作.

1.1 主去噪分支

现有基于卷积神经网络的方法都采用寻找压缩视频特征到增强视频特征的最佳映射来增强视频，这些方法在增强过程中忽略了视频中的失真特征，使得网络的训练更加困难.为了更好地学习失真特征，本文提出了主去噪分支，它采用了残差学习机制来加速训练过程，将现有方法的学习图像干净像素特征转化为学习更加简单更容易提取的损失特征，把特征提取过程和重构过程当作两个单独的进程，以更准确地重建噪声图.在特征提取过程中，由于损失的尺度不统一，为了增强多尺度特征提取能力，主去噪分支采用MDFEB来提高对失真区域内不同尺度的失真的提取能力.在重建过程中，主去噪分支利用从前几层学到的损失特征来预测噪声图.为了进一步提高网络的失真学习能力，本文使用长连接引入压缩视频来指导重建过程.图2展示了所提出的主去噪分支的整体结构.在特征提取阶段中，主去噪分支首先采用3×3卷积层将压缩帧转换为特征，然后将这些特征输入13个MDFEB进行失真特征提取.最后，一个带有逐元素相加操作的跳连接被用来让网络学习和处理残差信息.

特征提取阶段可以总结为

其中，I_C和F_N分别代表输入帧和特征提取过程中的特征，Conv_3×3和Fⁿ_MDFEB分别代表3×3卷积和第n个MDFEB，F_I表示由3×3卷积层提取的特征，F_n表示由n个MDFEB提取的失真特征.

由于所提出的主去噪分支网络层数十分深，而局部信息（如纹理信息和颜色信息）在特征提取过程中容易丢失，这将大大降低神经网络的学习能力.为了解决这个问题，压缩帧被融合到提取的失真特征中，以引入更多有用的局部信息.压缩帧中的局部信息被用作指导信息，以提高网络的重建能力.两个3×3卷积层被用来进一步转换所获得的特征并重建失真图.最后，压缩后的帧被用来减去失真图，得到一个增强的视频帧.综上所述，强化的去噪分支可描述为

其中，F_g代表融合的特征，$\otimes$是拼接操作，Convⁿ_3×3表示第i个3×3卷积层，I_N和O_r分别代表失真图和没有细节补偿的增强帧.

多尺度失真特征提取块：在深度卷积神经网络的前向传播过程中，网络的感受野逐渐扩大.因此，网络可以有效提取更多的全局特征，如场景、亮度等.然而，局部损失很难通过重复的单一卷积操作来消除.为了提高对不同尺度损失的感知能力，本文提出了多尺度失真特征提取块.MDFEB的结构如图3所示，由三个非对称卷积块（Asymmetric Convolution Block，ACBlock）^[27]、两个2倍像素重组操作（pixel-shuffle）^[28]和一个卷积层组成.

为了提取更多的压缩失真特征，所提出的MDFEB采用ACBlock作为基本的特征提取器，它用1×n，n×n和n×1的融合卷积运算取代了传统的n×n卷积层.1× n，n×n和n×1卷积分别代表水平、垂直和对称的卷积运算，因此交叉位置的权重比角落的权重要大得多，这使得ACBlock对有微小变化的区域更加敏感，如失真图像中因块编码导致的边界不连续的块伪影区域.因此，MDFEB可以提取更多的局部失真特征.此外，局部损失的尺度也不唯一，例如，蚊子噪声是小尺度的失真，而振铃效应和块效应是大尺度的失真.为了更好地提取压缩视频中的多尺度失真，本文融合了ACBlock在不同尺度上学习的特征.提出的MDFEB可以概括为

其中，O_i代表第i个3×3 ACBlock提取的特征，W_i，₁，W_i，₂和W_i，₃分别代表第i^th块中1×3、3×3和3×1卷积运算的输出，$\oplus$表示元素相加，P₂和P₄代表pixel-shuffle操作，其上采样系数分别为2和4，$\otimes$是拼接操作，Conv_3×3代表3×3的卷积层，O代表提出的MDFEB块的输出.

1.2 细节补偿分支

主去噪分支可以有效地去除压缩视频的失真，然而，由于失真和细节均为高频信息，压缩视频的细节信息也很容易被主去噪分支去除.为了恢复丢失的细节信息，本文提出一个细节补偿分支，以进一步提高压缩视频的质量.所提出的细节补偿分支利用U型网络^[29]作为骨干网络，这种编码-解码结构能够更好地恢复压缩视频中退化的细节信息.图4展示了提出的细节补偿分支的结构，它包括一个使用预训练ResNet-50的内容特征提取器、三个提出的细节响应块、三个2倍pixel-shuffle层、一个4倍pixel-shuffle层以及两个卷积层.

首先预训练的ResNet-50作为内容特征提取器提供了从大规模数据集中学习到的丰富特征，接着本文采用三个细节响应块来进一步提取不同感受野的细节特征.细节补偿分支使用pixel-shuffle层对小尺寸的特征图进行上采样并且不引入冗余信息.最后3×3卷积层被用来来重建细节图.所提出的细节补偿分支可以被总结为

其中，I_c表示压缩帧，Φ（）表示预训练的ResNet-50中的残差块，L_i表示ResNet-50中不同层提取的特征，O_DRBi表示细节补偿分支中不同层的输出特征，$\phi$（），P₂和P₄分别表示DRB和上采样系数设置为2和4的pixel-shuffle操作，$\otimes$和Conv_3×3分别表示拼接操作和3×3卷积层，O_detail代表压缩帧的细节图.

1）内容特征提取器：为了更好地提取丰富的内容特征，如突出的物体、形状和细节等，本文使用了一个预训练的ResNet-50组成的内容特征提取器.ResNet-50是一种针对图像分类任务提出的残差学习网络，其预训练数据集中的大多数图像都没有经过严重的压缩，并且具有丰富的细节.因此，预训练的ResNet-50可以更好地响应细节信息，并忽略压缩失真.本文从卷积2_10、卷积3_12、卷积4_18和卷积5_9中提取多尺度特征.为了直观地说明预训练的ResNet-50的性能，并证明它能有效地提取压缩视频的多尺度细节特征，“BQSquare”序列的特征图可视化如图5所示，其中图5a、5b、5c、5d分别代表从ResNet-50的卷积2_10、卷积3_12、卷积4_18和卷积5_9提取的特征.由图5a和5b可以看出，经过预训练的ResNet-50的浅层可以提取丰富的高频信息，如轮廓和边缘.由图5c和5d可以看出，即使在下采样过程中丢失了很多细节信息，网络的深层仍然专注于细节区域.这些结果证明了所提出的细节补偿分支的有效性.

2）细节响应块：为了从丰富的内容特征中有效地提取高频细节特征（如边缘、纹理等），本文提出一个细节响应块，该块的结构如图6所示.由于压缩视频中物体的大小往往变化很大，因此DRB由四个分支构成，四分支可以提取不同感受野大小的特征.为了降低DRB的计算复杂度，每个分支的开始部分都采用了四个1×1的卷积层压缩特征维度.每个分支中均采用ACBlock作为基础的特征提取器，这可以帮助网络提取出更多的细节特征.在第一个分支中，本文只设计了一个1×1的卷积层来提取非稀疏的全局特征.此种特征具有高密度的信息，可以更好地代表图像全局尺度的特征.最后，将四个分支提取的特征进行融合，并采用压缩激活块（Squeeze-and-Excitation Block，SEBlock）^[30]标记融合后的特征中的重要特征.压缩激活块使用一个全局平均池化层来进一步提取重要特征，利用两个全连接层对这些特征进行非线性映射.此外，在DRB中还使用了一个1×1卷积层的残差连接，以避免训练中的梯度消失问题.

DRB的结构可以描述为

$O=f_2\left(f_1\left(\mathrm{Avg}\left(O_{F_1}\otimes O_{F_2}\otimes O_{F_3}\otimes O_{F_4}\right)\right)\right)\otimes$

其中，I是DRB的输入特征，Convⁱ_1×1表示第i个1×1卷积层，$\otimes$表示拼接操作，F_i表示ACBlock层，O_F表示提取的多尺度特征，Avg表示全局平均池化操作，f_i表示第i个全连接层，⊙表示逐元素相乘操作，$\oplus$表示逐元素相加操作，O表示DRB的输出.

2 实验结果与分析

2.1 实验设置

1）数据集：本文采用表1所示的37个不同分辨率的视频序列制作数据集，其中21个视频序列用来建立训练集，其余16个视频序列用来建立测试集.训练集由4 200张图像组成，测试集由16个序列的所有帧组成.每个视频序列由高效视频编码测试软件16.0（High Efficiency Video Coding Test Model16.0，HM16.0）在四个不同的量化参数（Quantification Parameters，QP）下进行编码.

2）训练设置：图像像素块大小设置为64×64，跨度为32，批尺寸设置为16.采用亚当（Adam）优化器^[31]来优化模型，学习率设置为0.001，训练过程将在200次迭代后停止.

3）评价指标：为了评价不同方法的客观性能，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）被用来衡量每种方法的客观质量，其单位为分贝（dB）.Bjøntegaard失真率（Bjøntegaard-Delta-rate，BD-rate）^[32]被用来评价每种方法的失真率性能.

2.2 客观增强性能的对比

表2列出了全帧内（ALL Intra，AI）、低延迟（Low Delay，LD）和随机访问（Random Access，RA）编码结构的ΔPSNR结果.可以看到，当使用AI编码结构时，VRCNN^[9]的PSNR增长范围为-0.657 dB到0.282 dB，平均为-0.079 dB.RHCNN^[12]的PSNR增长范围为-0.075 dB到0.292 dB，平均0.143 dB.QECNN^[13]的PSNR增长范围为-0.237 dB到0.300 dB，平均0.036 dB.Zhang等^[14]的PSNR增长范围为-0.126 dB到0.326 dB，平均0.113 dB.本文提出的方法的ΔPSNR为0.147 dB到0.514 dB，平均0.266 dB.

当使用LD编码结构时，VRCNN^[9]的结果仍是负增益.RHCNN^[12]的的PSNR增长范围为0.077 dB到0.335 dB，平均0.172 dB.对于QECNN^[13]的PSNR增长范围为-0.097 dB到0.225 dB，平均0.092 dB.对于Zhang等^[14]的方法，PSNR增长范围为0.092 dB到0.301 dB，平均0.173 dB.本文提出的方法的PSNR增长范围为0.163 dB到0.409 dB，平均0.275 dB，比表现最好的方法高出了0.102 dB.

当使用RA编码结构时，VRCNN^[9]的PSNR增长范围为-0.690 dB到0.062 dB，平均为-0.086 dB.RHCNN^[12]的PSNR增长范围为0.077 dB到0.376 dB，平均为0.184 dB.QECNN^[13]的PSNR增长范围为-0.098 dB到0.306 dB，平均为0.010 dB.Zhang等^[14]的方法PSNR增长范围为0.112 dB到0.400 dB，平均为0.195 dB.本文提出的方法的ΔPSNR从0.193 dB到0.534 dB，平均为0.290 dB.从这些结果中分析可知，当视频在不同编码结构下进行编码时，由于QP低时码率高，视频中的细节信息比较丰富，对比方法由于缺乏细节信息和损失信息的辨别能力，在增强过程中易将细节和损失共同去除，因此表现不佳.本文方法由于ResNet-50组成的内容特征提取器的存在，大量的包含细节信息的内容特征被提取出来，这些信息提高了本方法增强后视频的客观质量.

2.3 失真率性能的对比

为了比较所提出的方法和有代表性方法之间的失真率性能，表3中列出了每种方法的BD-rate.可以看出，VRCNN^[9]的BD-rate节省范围为8.313%到-4.630%，平均1.046%.RHCNN^[12]的BD-rate节省范围为1.836%到-7.932%，平均-2.957%.QECNN^[13]的BD-rate节省范围为0.820%至-6.250%，平均为-2.249%.Zhang等^[14]的的BD-rate节省范围为0.922%至-7.340%，平均为-2.985%.与这些压缩视频质量增强方法相比，本文的方法的BD-rate节省范围为-1.869%到-9.529%，平均-4.964%.由表3可以发现，几种对比方法均有BD-rate负增益的情况，因此对比方法在不同视频序列上的增强效果是有波动的，在细节丰富的视频中，这些方法增强性能大大受限.受益于细节补偿分支提取细节信息的能力，本文提出的DRCNN在每个序列上都获得了稳定的增强效果.

2.4 视觉质量对比

为了比较所提出的DRCNN和最先进的视频质量增强方法之间的视觉质量增强性能，如图7所示，本文从五个视频序列中取出最具代表性的帧做视觉质量对比，包括“PeopleOnStreet”、“Cactus”、“BQMall”、“FourPeople”和“BQTerrace”五个视频序列.对于“PeopleOnStreet”和“Cactus”视频序列，可以看到由于严重的压缩失真，砖块和数字的边缘变得十分不清晰，现有的方法如VRCNN^[9]、RHCNN^[12]、QECNN^[13]和Zhang等^[14]都难以改善质量下降的帧的视觉质量.相比之下，本文提出的DRCNN在使用所提出的细节补偿分支后可以更好地改善细节区域的质量.对于 “BQMall”和“FourPeople”序列，许多伪影和模糊出现在视觉质量下降的帧中.与其他增强方法相比，本文提出的DRCNN具有更强的伪影去除能力，并取得了更满意的结果.此外，压缩过程会将色调偏离引入压缩后视频帧中，如“BQTerrace”中的放大区域，由于其学习能力有限，传统的基于卷积神经网络的方法很难将其去除.与这些方法相比， DRCNN能有效地去除色调偏离，并显著改善质量下降的帧的视觉质量.

2.5 计算复杂度的对比

为了比较各方法的计算复杂性，表4列出了一帧的显卡测试时间，表5给出了显卡内存消耗的结果.从表4可以看出，VRCNN^[9]、RHCNN^[12]、QECNN^[13]、Zhang等^[14]和DRCNN的平均显卡测试时间分别为0.19、0.27、0.15、1.10和1.18 s.由于VRCNN^[9]、RHCNN^[12]和QECNN^[13]的网络层数较浅，这三种方法的显卡测试时间少于其他两种方法，但是，它们取得的质量提升性能比Zhang等^[14]和DRCNN差很多.为了有效提取失真特征并提高降噪能力，Zhang等^[14]和DRCNN被设计为深度神经网络.与Zhang等^[14]相比，本文方法实现了更好的增强性能，并保持了相当的显卡测试时间.从表5可以发现，VRCNN^[9]、RHCNN^[12]、QECNN^[13]、Zhang等^[14]和DRCNN方法的显卡内存消耗分别为2.1、2.5、1.3、3.2和4.1 GB.总的来说，相比于对比方法，本文方法的复杂度高出一点，处理一帧的平均测试时间比对比方法中最高的Zhang等^[14]多了0.08 s，显卡内存大小也多了0.9 GB.但是考虑到本文在PSNR和BD-rate上比Zhang等^[14]提升了0.117 dB和1.979%，复杂度微微上升是可以接受的.

2.6 消融实验

1）对于提出的两分支的消融实验.DRCNN采用一个主去噪分支和一个细节补偿分支来有效地消除失真，提高压缩视频的质量.为了验证这两个分支的有效性，本文将它们从 DRCNN中分别删除，在测试集上进行消融研究.实验结果列于表6，其中“去除去噪分支”表示从DRCNN中删除了主去噪分支，而“去除细节分支”表示从提出网络中删除了细节补偿分支.可以看出，当主去噪分支被移除时，所提出的DRCNN的质量增强能力大大降低，平均PSNR下降了3.533 dB.这一结果证明，主去噪分支可以有效地消除压缩视频中的失真，提高DRCNN的增强性能.此外，可以看出，当去除细节补偿分支时，PSNR平均下降了0.186 dB.从这些结果中可以发现，所提出的主去噪分支和细节补偿分支大大提高了DRCNN的压缩视频增强能力.

2）对于提出的MDFEB的消融实验.MDFEB的提出有效地提高深度神经网络的失真特征提取能力.为了探索所提出的MDFEB的数量和增强性能之间的潜在关系，本实验测试了一组MDFEB，PSNR性能和网络参数大小列于表7.可以看到，当MDFEB的数量等于13时，提出的DRCNN实现了最佳的压缩视频质量增强性能，参数仅仅略有增加.因此，综合考虑质量增强性能和计算复杂性，MDFEB的数量被设定为13.

3 结论

为了解决现有卷积神经网络增强压缩视频丢失细节的问题，本文基于双分支网络提出一种基于细节还原卷积神经网络的视频质量增强方法.通过主去噪分支去除视频中的失真，在去除失真过程中损失一定的细节特征，接着通过细节补偿分支将损失的细节特征提取并补偿到去噪后的视频中，获得最终的增强视频.在主去噪分支中，本文提出一种多尺度失真特征提取块，融合多尺度特征，以增强网络去噪能力.在细节补偿分支中，通过使用预训练的ResNet-50提取出丰富得细节特征，并且设计了一个细节响应块，通过细节响应块将细节特征转化为可供补偿的细节图.未来将尝试通过结合视频时域信息来增强和改进网络性能.

参考文献