我是谁-贝博app体育-官方下载

对视频编码的一些了解

由本文首要触及的是视频编码与深度学习。介绍本文之前,先在这儿写一下对视频编码的浅显了解,已有了解的能够越过这部分。

咱们平常看到的视频,原始数据量往往十分巨大,特别对高清视频而言,假如直接存储和传输原始信息,需求占用很多的空间和带宽(例如 1080p@30Hz&24-bit,数据量高达 11.2GB/min)。

为处理这个问题,学术界和工业界拟定出了多代视频编码规范,用于将原始视频数据紧缩成体积较小的比特流。紧缩,能够运用无损和有损的办法进行,但无损紧缩的紧缩比往往很有限,现在重视的绝大部分是有损紧缩办法。这种办法答应紧缩后恢复出的视频存在失真,但只需没有使视频质量显着下降,还能够被人眼承受,那么这种有损紧缩便是合理的。

不同的有损紧缩办法(例如各种紧缩规范之间、同一规范中的不同装备)功能一般不同,而在作 者看来,需求重视的功能, 首要在于“多快好省”的后三个字:

  • “快”: 编码时刻。与视频播映时刻无关,此方针是把原始视频编码成比特流所需的时刻,即编码器的运转时刻。编码时刻越短,往往意味着耗费核算资源越少,阐明这种编码办法越有期望得到广泛应用。
  • “好”: 紧缩后的视频质量。最常用的,能够用一切帧均匀 PSNR 来表明。或许用其他客观方针如 SSIM 等描绘,也可用人的片面打分来衡量。
  • “省”: 紧缩后的码率。即比特流体积与视频时刻之比。

以上三项中,编码时刻描绘的是进程,视频质量和码率描绘的是成果,显着,进程和成果都需求咱们重视。 其间,描述成果的两项方针往往联合运用,由于单纯的高质量和单纯的低码率都很难阐明编码功能怎么,一般公认的是固定单一变量来比照另一个变量,例如相同视频质量下的码率改动率(BD-BR)或相同码率下的 PSNR 改动量(BD-PSNR)。 这种“好”和“省”,更科学地说,称为“率-失真功能”,即反映码率和失真两项方针的归纳功能。

跟着编码规范的开展,例如 H.264/AVC->H.265/HEVC->H.266/VVC,率失真功能在不断地优化,但价值是时刻杂乱度成倍进步,这首要由于后续的编码规范往往支撑更灵敏的分块/猜测/改换等战略,使得编码器能在更广阔的战略空间中查找最优解,用更多的查找时刻交换率-失真功能。关于一种编码规范,研讨者改善的方针也往往依据杂乱度或率失真功能,因而,据自己有限了解,编码范畴至少有以下几类研讨:

1. 确保率-失真功能条件下,节约编码时刻:能够了解为减小编码时刻的均值(一阶功能);

2. 在编码时刻可承受的条件下,优化率-失真功能:能够了解为优化BD-BR或BD-PSNR的均值(一阶功能);

3. 杂乱度操控,减小编码时刻杂乱度的动摇:即减小编码时刻的方差(二阶功能);

4. 码率操控,减小编码进程中的码率动摇:即减小码率的方差(二阶功能)。

关于不断开展的编码规范,提案/论文/专利等能够说是汗牛充栋,但往往能够归结为对杂乱度、码率与视频质量的寻求,依照这个思路,就比较简略了解了。作者曾在 2018 年 TIP 中提出过 依据深度学习的 HEVC 杂乱度优化办法 ,归于上表中比较根本的第 1 类研讨;对本文而言,运用 HEVC 多帧信息进行环路滤波,则归于第 2 类研讨。当然,第 3、4 类或许其他类型的作业,在作者所属的课题组,以及其他编码相关的课题组,也都有触及,就暂不具体阐明晰。

研讨布景

作为一种比较先进的视频紧缩办法,HEVC 规范比较于上一代 AVC 规范,能够在相同质量下下降约 50% 码率,使编码功率进一步进步。但也需求考虑到,AVC、HEVC 等依据块的编码办法一般用于有损紧缩而不是彻底无损的,因而不可避免会带来了多种失真(如块失真、含糊和振铃效应等),特别在低码率状况我是谁-贝博app体育-官方下载下,这些失真更为显着。

为了减轻编码进程中的失真,人们提出了多种滤波算法。虽然具体办法不同,这些滤波算法具有一个一同点:都对编码后的每帧视频进行质量增强,而且现已增强过的帧又作为参阅帧,为后续帧的编码进程供给帧间猜测信息。可见,这类滤波算法既作我是谁-贝博app体育-官方下载用于当时帧的输出,又效果于后续帧的输入,逻辑上构成一个闭环,因而统称为环路滤波。合理规划的环路滤波器,使得视频编码的功率能够进一步进步。

首要,HEVC 规范的拟定进程触及到三种环路滤波器,包含去块滤波器(Deblocking filter,DBF)、样本自习惯偏移(Sample adaptive offset,SAO)滤波器以及自习惯环路滤波器(A标签10daptive loop filter,ALF)。其间,DBF 首要用于消减紧缩视频中的块效应;然后,SAO 滤波器经过对每个采样点叠加自习惯的偏移量,来削减紧缩失真;终究,ALF 则依据维纳滤波算法,进一步下降失真程度。终究,DBF 和 SAO 被归入 HEVC 规范。

除了 HEVC 规范环路滤波器,还有 多种启示式的依据深度学习的环路滤波办法 ,也被接连提出。

启示式办法是依据一些先验特征(如纹路杂乱度和相似视频块个数等)对紧缩失真构建核算模型,再依据此模型规划滤波器,例如非局域均值(Non-local means,NLM)滤波器 [Matsumura, JCTVC-E206, 2我是谁-贝博app体育-官方下载011] 和依据图画标签5块矩阵奇异值分化的滤波器 [Ma, MM 2016][Zhang, TCSVT 2017] 等。启示式办法能在必定程度进步步编码功率,但模型中的先验特征需求手动提取,这高度依赖于研讨者的经历,而且难以运用多种特征进行精确建模,因而在必定程度上约束了滤波器的功能。

从 2016 年开端,依据深度学习的办法显着进步了环路滤波功能。此类办法一般经过构建卷积神经网络(convolutional neural network,CNN)来学习视频帧中的空间相关性。例如,文献 [Dai, MMM 2017] 规划了一种可变滤波器规范的残差 CNN(Variable-filter-size residue-CNN,VRCNN),以替换帧内方式中的规范 DBF 和 SAO。文献 [Zhang, TIP 2018] 则提出一种带有捷径的残差CNN(Residual highway CNN,RHCNN),用于帧内或帧间方式的规范 SAO 进程之后。

上述依据深度学习的办法有用开掘了单帧内容的空间相关性,但是却没有开掘多帧内容中的时刻相关性。实践上,紧缩视频一般存在显着的质量动摇,而且其间的接连多帧往标签11往包含相似的事物或场景。因而,低质量帧中的视频内容能够由接近的高质量帧估测得到,这即为本文的起点:依据深度学习的 HEVC 多帧环路滤波。

数据剖析

关于本文的环路滤波问题,首要构建一个大规模数据库,以便在设核算法之前进行必要剖析,并为本文或后续的相关作业供给数据支撑。本数据库由182个无损视频组成,别离来自 http://Xiph.org 网站、视频质量专家组(Video quality experts group,VQEG)网站和作者地点的团队之前树立的人脸视频库 [Xu, JSTSP 2014],如下表所示:

▲ 表1 环路滤波数据库构成

库中的 182 个视频包含练习集(120 个视频)、验证集(40 个视频)以及测验集(40 个视频)三个不堆叠的部分。此外,JCT-VC 规范引荐的一切 18 个视频也参加测验,但由于版权不全敞开,就没有我是谁-贝博app体育-官方下载计入本文构建的数据库中。一切 182 个开源视频都运用 HM 16.5 在 4 个 QP 下进行编码,并包含 LDP、LDB 和 RA 三种帧间装备。

在编码进程中,提取出一切的未滤波重建帧(Unfiltered reconstructed frame,URF)和对应的无损帧,作为神经网络的输入和输出信息。别的,考虑到 CTU 切割结构会显着影响紧缩失真,一切帧的 CU 和 TU 切割状况也被提取出来,作为辅佐信息。因而,数据库中的每个帧等级样本都包含四部分:一个 URF、对应的无损帧,以及表明 CU 和 TU 切割深度的两个矩阵。

终究,依据 3 种不同装备和 4 种不同 QP 值,一共构建出 12 个子数据库。完好的数据库共包含了约 60 万个帧等级样本,每个帧等级样本又能够拆分红多个块等级样本(取自视频帧中的恣意方位),能够为数据剖析和模型练习供给满足的数据支撑。

构建数据库后,运用其间的练习集和验证集上的 标签17160 个视频,剖析编码进程中的视频内容相似度和质量动摇状况。首要,图 2 反响了不同帧间间隔下的 Y、U、V 三通道内容相似度,用每个通道两帧矩阵之间的线性相关系数(CC)来衡量。

▲ 图1 帧间内容相似度

总体上,跟着帧间间隔增大,以 CC 衡量的相似度逐步减小。一般来说,间隔 10 帧以内,每个通道的 CC 都大于 0.7,阐明邻近帧的内容相似性较大,这是本文多帧环路滤波办法的条件。

别的,关于紧缩视频的质量动摇,能够用 PSNR 的规范差来衡量。下图以两个视频为例,表明出同一个视频中帧间 PSNR 存在显着改动,相同,其他视频中也存在相似的现象。

▲ 图2 HEVC编码视频质量动摇示例

▲ 表2 PSNR动摇与规范滤波器的PSNR增量

为更全面地衡量 HEVC 中的视频质量动摇,表 2 进一步比较了一切视频 PSNR 的动摇状况,和规范环路滤波器 DBF 和 SAO 所带来的 PSNR 增量。可见,在 LDP、LDB 和 RA 装备下,PSNR 的规范差均匀为 0.891 dB、0.882 dB 和 0.929 dB,远高于由规范滤波器带来的进步(0.064 dB、0.048 dB和0.050 dB)。

这阐明在 HEVC 的不同编码装备下,视频质量动摇供给了规划多帧滤波器的潜力(用高质量帧补偿邻近的低质量帧),但规范环路滤波器没有有用地运用这种潜力。这也不难了解,由于规范滤波器没有直接运用多帧信息。本文则把握住这种潜力,规划出一个依据多帧信息的环路滤波器。

研讨标签5内容

办法结构

本文中多帧环路滤波器(Multi-frame in-loop filter, MIF)的结构如下图所示。

▲ 图3 办法结构

图中上半部分是规范编码进程:每个原始视频帧经过帧内或帧间猜测、离散改换和量化等必要进程进行编码。猜测得到的帧与我是谁-贝博app体育-官方下载残差帧之和,构成一个未滤波的重建帧 URF。下半部分则是本文的奉献:运用每个 URF 及其接近帧的信息,增强 URF 的视觉质量。首要,由参阅帧挑选器(Reference frame selector, RFS)选出一些高质量且内容相似的帧,作为当时 URF 的参阅帧。之后,依据参阅帧的数量,在以下两种或许状况中挑选一种,对 URF 进行增强。

方式1: MIF-Net。 设多帧增强办法需求 M 个参阅帧。关于一个 URF,假如 RFS 选出了至少 M 个参阅帧,当时 URF 将经过 MIF-Net 进行增强。在 MIF-Net 中,首要经过一个运动补偿网络,将每个参阅帧的内容与 URF 对齐。之后,将 URF 和一切对齐后的参阅帧经过一个质量增强网络,输出重建之后的帧。

方式2: IF-Net。 关于一个 URF,假如 RFS 未能选出 M 个参阅帧,将运用 IF-Net 对 URF 进行质量增强。与 MIF-Net 不同,IF-Net 的输入只要 URF,无需考虑多帧信息。

终究,编码器比较 MIF-Net/IF-Net 与规范滤波器 DBF+SAO 的功能,并将 PSNR 最佳的计划作为实践的挑选,以确保全体功能。

RFS的规划

RFS 为每个 URF 选取参阅帧的原理如图。

▲ 图4 RFS原理

假定当时帧 URF 是第 n 帧,RFS 将之前编码过最近的 N 帧做为参阅帧池,即从第 (n-N) 帧到第 (n-1) 帧,都有或许作为第 n 帧的参阅帧。对参阅帧池中的每帧,核算出 6标签11 个反映视频质量和内容相似度的标签17方针,包含:

  • Y、U、V 三个通道上,参阅帧相关于当时 URF 的 PSNR 增量;
  • Y、U、V 三个通道上,参阅帧和当时 URF 内容的相关系数 CC。

关于某个参阅帧,若至少在一个通道上,满意 PSNR 增量大于 0 且 CC 大于一个阈值,则认为此参阅帧或许有潜力进步 URF 的质量,即该参阅帧有用。不然,认为此参阅帧无效。若有用的参阅帧超越 M 个,则进一步将每个参阅帧的6个方针组成一个 6 维向量,输入到一个两层全衔接网络 RFS-Net 中,以求得一个输出标量,表明此参阅帧对进步 URF 质量的潜力。之后,从有用参阅帧中选取潜力最大的 M 帧,即为 RFS 的输出。

网络结构与练习进程

RFS 的运转成果,为绝大多数的 URF 选出了具有满足数量的参阅帧;关于少数 URF,也存在参阅帧缺乏的或许。本文核心内容在于,对以上两种状况(特别是参阅帧满足的状况),别离规划适宜的深度神经网络,以显着增强 URF 的质量。首要会比较具体地介绍 MIF-Net 的结构及其练习办法,之后将指出 IF-Net 和 MIF-Net 的不同之处。

▲ 图5 MIF-Net或IF-Net结构,由箭头类型差异代表两种网络

MIF-Net 的结构如上图所示。其输入包含一个 URF 和它的 M 个参阅帧,输出为增强后的帧。

首要,MIF-Net 的输入端整合了来自 M 条平行支路 的信息,其间每条支路 处理其对应的一个参阅帧中的信息。 在支路中,首要将参阅帧的内容与 URF 进行对齐,得到一个运动补偿后的帧,即图中的 compensated frame。 然后,将 URF 和补偿后的帧,一同输入到由 CTU 分块信息所引导块习惯卷积层(block-adaptive convolution)中,运用 CU 和 TU 切割状况,从不同来历的输入信息中提取较低层特征。 之后,考虑到 DenseNet 的高效性,将这些低层特征经过两个接连的密布单元(dense units)进行处理,以提取愈加杂乱的特征。 终究,来自 M 条支路的这些特征被衔接到一同,再经过两个接连的 dense units,以取得一些高档特征,终究输出一个单通道特征图。

为练习便利,除了部分的dense units外,MIF-Net 也加入了大局捷径,将终究 dense unit 输出的单通道特征图视为一个残差帧,即: 所求的质量增强帧等于残差帧与输入的 URF 之和。 接下来,将论述 MIF-Net 各个部分的结构。

▲ 图6 运动补偿网络

运动补偿网络。MIF-Net 中的运动补偿网络,是依据文献 [Caballero, CVPR 2017] 中的空间改换运动补偿(Spatial transformer motion compensation,STMC)模型改善得到,以完成参阅帧和 URF 的内容对齐,如图 6 所示。

若直接运用此文献的办法,则 STMC 的输入为参阅帧和 URF,输出为一个运动补偿后的帧(图中的 )。 此文献中的 STM标签3C 包含 4 和 2 两 条降采样支路,以猜测不同精度的运动矢量(Motion vector,MV)图。 之后,将 2 降采样支路生成的 MV 图效果到参阅帧上,即得到。 这种 STMC 适合在不同空间规范进步行运动估量,但是,其间的降采样导致精度有限,而且 STMC 的结构还有一些能够改善之处。

对此,本文提出一种改善版运动补偿网络,与文献 [Caballero, CVPR 2017] 中的 STMC 具有如下差异:

  • 在 4 和 2 降采样支路的基础上,添加一个原规范支路,以进步 MV 的估量精度;
  • 受 ResNet 启示,在已有的卷积层周围添加了 6 条捷径(图中 6 个加号邻近),以进步网络容量并使网络更简略练习;
  • 将原先一切的 ReLU 激活层替换成 PReLU,使网络能够学习激活函数负半轴的斜率。

进行上述改善之后,依据新增的原规范支路得到两个新的 MV 图,寻觅补偿后的帧中每个像素在参阅帧中的对应坐标,再依据双线性插值法,核算出运动补偿后的帧,即图中的。

块习惯卷积层。 此层的输入由三个特征图相连得到,包含一个 URF、一个运动补偿后的帧和两者之差。 CU 和 TU 切割信息用两张特征图表明(图中的 和 ),其间的每张特征图都与 URF 的巨细相同,各个像素的取值取决于 CTU 切割信息: CU 或 TU 边际的像素赋值为 1,其他像素赋值为 -1。

然后标签20,块习惯卷积层的方针在于: 给定 3 个输入特征图,在别的 2 个引导特征图的效果下,生成必定数量的输出特征图。 为处理这一问题,咱们提出一种带有引导信息的卷积运算,包含两个首要进程: 生成中介图,以及运用中介图进行卷积。

  • 首要,将引导特征图经过一般卷积层进行处理,生成若干个中介特征图。 在此进程的处理中,需求坚持特征图规范不变。
  • 之后,在对输入特征图进行卷积的进程中,依据中介特征图来生成输出特征图。

图 7 给出一个比如,阐明带有引导信息的卷积核算进程。 假定一种简略状况,输入、输出特征图的规范均为 32,卷积核巨细为 33。 与一般卷积的差异,在于新增的中介特征图(图中的intermediate feature map)。 考虑引导信息,用本来的卷积核 3*3 权重,乘以中介特征图里各个像素周围 3*3 感触野中的数值,逐元素相乘,得到修改后的权重。 此刻,各个像素对应的 3*3 权重都可标签1能不同,即卷积核权重能够遭到中介特征图操控。 之后的运算则与一般卷积相似,由输入特征图每个像素周围的 3*3 感触野,与对应的 3*3 权重做内积,得到输出特征图的对应像素值。

比较而言,考虑每个输入通道向每个输出通道做卷积的进程,传统卷积中的权重与方位无关,具有空间不变性; 带引导的卷积中,卷积核权重会遭到中介特征图操控,即带有必定程度的空间相关性。 虽然这儿的卷积核权重与方位相关,但并不会像全衔接层那样彻底随机,这是由于中介特征图也是经过卷积得到的,而不是乱七八糟。 而且,只需添加少数的可练习参数,即可完成带引导信息的卷积,不会导致显着的过拟合。 这些特色使得带有引导信息的卷积,能够运用更丰厚的额定标签5信息(如本文中的 CU 和 TU 切割状况),进步神经网络的建模才能。

▲ 图7 带有引导信息的卷积示例

用于质量增强的密布单元。 作为一般 CNN 的改善版,文献 [Huang, CVPR 2017] 提出的 DenseNet 包含了多种长度的层间衔接,能有用缓解梯度消失问题,并促进网络不同方位的参数同享。

考虑到这些优势,MIF-Net 中引进了 (2M+2) 个密布单元(dense units),包含每条支路中的 2 个 dense units,以及网络结尾用来整合各路信息的 2 个 dense units。每个 dense unit 的结构如图 8 所示,可见,4 层的 dense unit 即包含 10 处帧间衔接,远多于 4 层的一般 CNN 只包含 4 处帧间衔接,这有利于发挥 dense unit 灵敏拓补结构的优势。

▲ 图8 dense unit 结构

MIF-Net 练习进程。 考虑到运动补偿和质量增强两大部分,MIF-Net 难以作为一个全体直接练习。因而,本文选用了中心监督办法,在不同进程引进各自的价值函数,进行练习。首要,能够用 URF 和每个参阅帧内容的距离来衡量运动补偿网络的功能,即依据 MSE loss 界说一个中心价值函数 。

接下来,能够用增强后的帧和无损帧之间我是谁-贝博app体育-官方下载的距离来衡量 MIF-Net 的全体功能,相同依据 MSE loss,界说大局价值函数 。 终究,练习 MIF-Net 所选用的价值函数为:

。 其间, 和 是能够调理的正值参数。 考虑到质量增强网络的需求练习好的运动补偿网络作为支撑,练习之初,设置 >> ,以侧重优化; 待收敛后,设置 >> ,以倾向于优化大局价值函数。

IF-Net和MIF-Net的差异

两个网络的差异在于 MIF-Net 的输入包含了 M 个参阅帧,而 IF-Net 不包含。因而,在 IF-Net 中只存在质量增强部分的 1 条支路,而没有运动补偿部分,如图 5 中的粉红色箭头所示。MIF-Net 中用于整合 M 条支路信息的衔接操作,在 IF-Net 中也不存在。虽然 IF-Net 的结构比较标签17简略,但它依然保存本文所提出的块习惯卷积操作和 4 个 dense units,能够确保满足的网络容量。在练习方面,IF-Net 没有中心价值函数,因而直接优化大局价值函数即可。

试验成果

首要考虑环路滤波器的一种根本功能,即客观率失真功能,一般用 BD-BR 和 BD-PSNR 来衡量。运用 JCT-VC 规范引荐的一切 18 个视频来测验,包含 Class A~E,QP 设置为 22、27、标签1732 和 37。在三种帧间方式中,以最接近有用的 RA 方式为例,下表给出了规范环路滤波器、两种比照算法和本文算法的功能。

▲ 表3 RA方式率失真功能比较

表格中,一切数据都是和去掉环路滤波器的 HM-16.5 编码器比较的,例如我是谁-贝博app体育-官方下载,能够看出规范环路滤波器 DBF+SAO 带来了 5.031% 的码率节约,也代表相同码率下 0.162dB 的质量进步。表中的 [10] 和 [20] 代表一种依据图画块矩阵 SVD 分化的启示式算法 [Zhang, TCSVT 2017] 和一种依据高速残差 CNN 的深度学习算法 [Zhang, TIP 2018],与规范算法比较,功能都有所进步。表格右侧的多帧环路滤波算法,从 BD-BR 和 BD-PSNR 两项方针来看,都优于其他三种算法,证明晰本文办法的客观率失真功能。

▲ 图9 RA方式下片面质量比照

在片面质量方面,本文也进行了比照,例如图 9 中,多帧环路滤波比较于其他滤波办法,能调查到马尾边际更明晰、行人和大街图画上的块效应更轻、人的手指更简略分辩,等等。这种质量进步,在必定程度上得益于高质量帧补偿低质量帧的思维,特别在内容运动显着、质量动摇剧烈的当地,优势更显着。限于篇幅,论文难以比照一切图画部分的片面质量,但本文办法在 18 个规范视频上一切的编码成果,现已上传到数据库网站 https://github.com/tianyili2017/HIF-Database,以便调查完好的片面质量。

为了进一步验证多帧环路滤波办法各个部分的效果,本文加入了溶解性试验,如图 10 所示。溶解性试验从完好办法(考虑多帧信息、网络中存在块习惯卷积和 dense units)开端,每次去掉一个首要部分,丈量这种状况的 BD-BR 和 BD-PSNR。

图 10 中,完好办法为装备 1,去掉多帧网络 MIF-Net 后成为装备 2,再去掉块习惯卷积后成为装备 3,接着把 dense units 换成一般卷积层后成为装备 4(即深度学习办法的最简状况)。终究,不带深度学习的规范环路滤波器,为装备 5。能够看出,图中每对相邻的装备都只改动一个变量,构成一组比照试验,而且存在着显着的功能不同。这就验证了本文办法的各个首要成分,都起到了必定的效果,一起也阐明晰,多帧思维的引进和网络结构的改善,都有助于进步环路滤波器的功能。

▲ 图10 溶解性剖析

除了率失真功能,算法的杂乱度也是需求考虑的要素,特别关于深度学习办法而言,时刻杂乱度影响着算法的有用性。在表 4 中,本文以 RA 方式为例,在 Intel(R) Core (TM) i7-7700K CPU @4.2 GHz,Ubuntu 16.04 平台上,给出了规范编码器 HM16.5 在纯 CPU 方式下的每帧编码时刻 ,一起比较了每种滤波算法额定引进的时刻 ,以比值的方式评价时刻杂乱度。

表中的 [20],即 [Zhang, TIP 2018],是一种有代表性的深度学习办法。 本文办法与其比照,不管在纯 CPU 状况或是 GPU 支撑的状况,杂乱度均比较低(例如,GPU 支撑下,滤波器均匀运转时刻仅为规范编码时刻的 0.078 倍)。

可见,本办法为依据深度学习的环路滤波,供给了一种有用计划。 当然,时刻杂乱标签19度上也存在优化的空间,后续能够经过一些网络取舍算法,在坚持滤波器功能的条件下,显着缩短运转时刻。

▲ 表4 RA方式时刻杂乱度剖析

小结

本文首要奉献包含:

  • 构建一个大规模的环路滤波数据库,为本办法供给满足的数据支撑,也可用于对 HEVC 环路滤波的后续研讨。
  • 依据视频内容和质量动摇状况的剖析,提出一种参阅帧挑选算法 RFS。
  • 提出一种多帧环路滤波网络 MIF-Net,一起运用时刻和空间信息,显着进步视频帧的质量。其间包含了本文新提出的块习惯卷积、改善版运动补偿网络,以及引进 DenseNet 先进结构规划出的质量增强网络。

在作者看来,未来还能够做些进一步作业。例如,在依据深度学习的环路滤波器标签20中,引进更多样的信息,如越过方式(skip mode)、PU 分块信息、编码器估量出的运动矢量和残差帧信息等。别的,能够运用一些网络加快算法对深度神经网络进行简化,进步本办法或未来环路滤波办法的有用性,并促进硬件完成。

Write a Comment

电子邮件地址不会被公开。 必填项已用 *标注