一、应用背景

 在数字视频应用产业链快速发展的今天，视频应用不断向高清晰度、高帧率、高压缩率的方向发展，当前目前在用的主流视频压缩标准H.264(AVC)的局限性不断凸显。由此导致了新一代视频压缩标准H.265 (HEVC)的诞生。

 从应用的角度上看，视频应用的发展方向是：

 1)高清晰度(Higher Definition)：数字视频应用格式从720 P向1080 P升级，部分应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式；

 2)高帧率(Higher frame rate )：数字视频帧率正在从30 fps向60fps、120fps的应用场景升级；

 3)高压缩率(Higher Compression rate )：传输带宽和存储空间一直是视频应用中最为关键的资源，需要借助于高压缩率减小有限带宽、存储空间与应用体验之间的矛盾。

 基于以上的技术与应用发展趋势，继续采用H.264编码的局限性是：

 1)由于分辨率的提高，带来的宏块数量的爆发式增长会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，而用于编码残差部分的码字明显减少。

 2)分辨率的提高使得单个宏块所含有的图像内容信息大大减少，这将导致相邻的4 x 4或8 x 8块变换后的低频系数相似程度极大的提高，出现大量的冗余。

 3)分辨率的提高使得表示同一个运动的运动矢量幅值大大增加。H.264采用单个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。也就是说，运动矢量幅值的增加将降低H.264中用来对运动矢量的预测及编码方法的压缩率。

 4)H.264中采用的CAVLC和CABAC两种基于上下文的熵编码方法和自适应算术编码中采用的deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。

 为了应对以上应用与技术问题，2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代编码标准HEVC(High Efficiency Video Coding)。该标准已于2013年1月由ITU-T 正式颁布为H.265标准。

二、HEVC(H.265)新技术特点

 作为新一代视频编码标准，H.265仍然属于预测加变换的混合编码框架。然而，相对于H.264，H.265 在很多技术方面有了革命性的变化，主要的技术特点是：

 1）灵活的编码结构

 在H.265中，对宏块的大小定义从H.264的16x16扩展到了64x64，以便于高分辨率视频的压缩。同时采用了更加灵活的编码结构，以提高编码效率，采用了包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。如图1所示：

图1  编码单元(CU)、预测单元(PU)、变换单元(CU)

 其中，编码单元类似于H.264/AVC中的宏块概念，用于编码过程；预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三种单元的分离，使得变换、预测和编码等处理环节更加灵活，有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。

 2) 灵活的块结构----RQT(Residual Quad-tree Transform)

 RQT是一种自适应变换技术，这种思想是对H.264/AVC中ABT(Adaptive Block-size Transform)技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整。对于帧内编码来说，允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换能够提供更好的能量集中效果，并能在量化后保存更多的图像细节，副作用是使得量化后带来更多的振铃效应。因此，根据当前块信号的特性，自适应的选择变换块大小，如图2所示，可以在能量集中、细节保留与图像的振铃效应三者之间进行最优的折中。

图2 灵活的块结构示意图

 3）采样点自适应偏移(Sample Adaptive Offset)

 SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，目的是减小失真，从而提高压缩率。

采用SAO后，平均可以减少2%~6%的码流，而编码器和解码器的性能消耗仅仅增加了约2%。

 4）自适应环路滤波(Adaptive Loop Filter)

 ALF在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像，以使得重建图像与原始图像之间的均方差最小。ALF的系数是以帧级计算和传输的，可以整帧应用ALF，也可以对于基于块或基于量化树的部分区域进行ALF。如果是基于部分区域的ALF，还必须传递指示区域信息的附加信息。

 5）并行化设计

 当前主流的处理芯片架构已经从单核逐渐向多核并行方向发展，因此为了适应并行化程度非常高的芯片实现，H265引入了很多并行运算的优化思路，主要包括以下几个方面：

 (1)Tile（图块）：如图3所示，用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个Tile，每一个Tile包含整数个数的LCU(Largest Coding Unit)。Tile之间可以互相独立，以此实现并行处理。

图3 Tile划分示意图

 (2)Entropy slice（熵片）：Entropy Slice允许在一个slice内部再切分成多个Entropy Slice，每个Entropy Slice可以独立的编码和解码，以提高编解码器的并行处理能力。

图4 每一个slice可以划分为多个Entropy Slice

 (3)Wavefront Parallel Processing（波前并行处理）：前一行的第二个LCU处理完毕，即对当前行的第一个LCU的熵编码概率状态参数进行初始化，如图5所示。目的是提高编解码器的并行处理能力。

图5 Wavefront Parallel Processing示意图

 6）H.264中已有特性的改进

 相对于H.264，H.265标准算法的复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，如表1。

 表1 H.264和H.265关键特性对比：

三、 H.265技术的应用前景

 H.265标准是在H.264标准的基础上发展起来的，结合H.264在视频应用领域的主流地位可以预见H.265标准在今后将有着广泛的应用前景。

 随着芯片处理能力越来越强，算法复杂性对应用的影响是越来越小。相反，在算法实时应用以及IPTV应用中，业务的不断扩展和需求的增加使得有限的带宽资源逐渐成为瓶颈，高压缩率的编码是解决这一难题的有效技术手段，这也为H.265在IP流媒体服务领域的应用奠定了坚实的基础。

 对于视频监控应用来说，传输带宽、存储容量和计算复杂度一直是方案设计时需要反复权衡的关键问题。当联网模式、多核芯片和集中存储方案大规模应用后，网络带宽的瓶颈的问题愈加凸显，提高视频压缩性能的需求日益迫切。

 从目前来看，H.265标准应用推广的快慢，与专利方面的松动有着紧密的关系。如果拥有H.265重要专利的企业（三星、高通、联发科等）在一定的程度上愿意将其专利加入到MPEG LA的专利池中，采取少收费或部分收费的方式，则在市场的应用将很快的推广普及。相反地，各应用厂家，尤其是与上述企业存在业务竞争者，很可能采取审慎的态度，最终影响其普及。