解除交错
反交错(deinterlacing)是将交错式(即隔行扫描)(interlace)影像信号转换为渐进式(逐行扫描)(progressive)影像信号的一种方法。
“De-interlacing”的各地常用名称 | |
---|---|
中国大陆 | 反交错 |
台湾 | 解除交错、去交错 |
因为装置处理速度以及带宽的限制下,广播电视系统,例如NTSC或是PAL,都是使用交错式信号取代渐进式信号。但是现代新型的显示装置例如液晶显示器、等离子显示器、数码投影机或是数码微型反射镜(DLP,数码光处理)等,都只支持逐行扫描(progressive scan),因此在这些装置上需要有反交错的功能以将交错式信号转换为逐行信号。
描述
一个动态影像是由一连串连续的静态影像所组成的,其中每一个静态影像称为帧(frame),而动态影像中每秒所包含静态影像的数量则称为帧(速)率(frame rate)。
而在显示器上显示动态影像的方式有两种:
- 渐进扫描:或称为逐行扫描。将每一帧从左至右、由上至下,逐一的将所有的像素显示出来。
- 交错扫描:或称为隔行扫描。将一帧图像的奇数行像素及偶数行像素分开,分成为两个场域(field)。轮流扫描奇数行所构成的场及偶数行所构成的场域。
因为一个场只有一个帧一半的资讯,因此在装置处理速度无法即时的处理整个帧的资讯以及传输带宽不够即时传输整个帧的情形下,使用交错扫描可以节省一半的资讯量且可以维持相同的更新率。在以往阴极射线管显示器(Cathode Ray Tube, CRT)很难一次扫描整个屏幕,因此无法使用渐进扫描。但是因为屏幕上萤光的余晖加上视觉暂留效应,使得交错扫描在阴极射线管显示器上运作的相当顺利。所以广播电视系统例如NTSC每秒59.94场,PAL则为每秒50场。
现在新式的显示装置的速度已经够快可以即时的处理且扫描整个帧,因此都是使用渐进扫描。但是在这些新型的显示装置上直接播放交错式影像会产生严重的闪烁现象,且因为交错式信号两行只有一行有影像另一行则是全黑的,所以亮度看起来会减少一半。由于有上述这些问题,所有使用渐进扫描的新式显示装置都需要有反交错的功能。
反交错方法
根据影像来源的不同,反交错的方法可以分为以下两类:
- 经过3:2 Pulldown后的电影:电影的拍摄是纪录在底片上的,影像被纪录在整张底片上,每秒24帧(Frame),因此电影是每一秒24个帧(24fps)的渐进式影像。而3:2 Pulldown则是一个将每秒24帧的渐进式影像转换为每秒60字段的交错式影像的程序,为的是将电影转换为NTSC的规格,若为PAL或SCAEM规格的电视则应转为每秒50字段。由于电影本身就是渐进式影像,因此若是我们经由NTSC电视收看一出电影,我们是可以完美的将影像反交错还原成原本的每秒24帧的电影。
- 拍摄交错式影像的摄影机:一般数码摄影机由于硬件速度及缓冲存储器大小的限制,没办法连续的拍摄渐进式的影像,因此一般数码摄影机都是拍摄交错式影像,由于交错式影像比渐进式影像少了一半的资讯量,因此可以降低硬件速度及缓冲存储器大小的需求接近一半。但是每个字段被拍摄的时间并不一样,代表我们永远没办法完美的反交错。例如有一台每秒拍摄六十个字段的数码摄影机,第一个字段是在1/60秒被拍摄的,而第二个字段是在2/60秒被拍摄的,我们将两个字段结合在一起,若是被拍摄的物体没有任何移动,那么结合出来的影像看起来是很完美的;但是如果被拍摄的物体有移动,两个字段的内容会有相当的不同,那么结合出来的影像会产生一种“锯齿”的效果。
上图为数码摄影机拍摄的交错式影像的一个示例,这是两个连续的场,每个场都只有一半的行有图像。可以看的出来人物的动作及相对位置都有所不同,因此若我们直接将这两个场结合在一起将产生“锯齿”的效果。''
反交错源自电影的影像
3:2 Pulldown是将每秒24帧的渐进式影像转换为每秒60场的交错式影像的程序;先将每个帧拆开成为两个场,场A与场B;接下来以“第一帧的场A、第一帧的场B、第一帧的场A、第二帧的场B、第二帧的场A、第三帧的场B、第三帧的场A、第三帧的场B、第四帧的场A、第四帧的场B”的顺序排列,这样四个帧就可以拆解成十个场,而接下来的每四个帧也是像上面那个顺序排列,这样就能产生出每秒60场的交错式影像。
而要将源自电影的交错式影像反交错是相当简单的,只要反交错的装置侦测到第一个场与第三个场是一样的,那么反交错装置就会转换到解3:2 Pulldown的模式。“只要将收到的前两个场合并为一个帧,第三个场丢弃,第四个与第五个场合并成为第二个帧,第六个场丢弃,第七个与第八个场合并成为第三个帧,第九个与第十个场合并成为第四个帧。”然后一直重复以上的顺序就可以完美的重建原来的每秒24帧的电影影像。
反交错交错式影像
跟源自电影的影像不同的是,电影原本就是渐近式影像,因此可以完美的反交错;但是原本就纪录成交错式影像,在之后无论用任何方法都无法完美的回复失去的一半资讯。在这里反交错的方法可以分为四大类,根据显示器的大小、反交错的时间以及价格因素,不同的反交错装置会在这些反交错方法中选择最适合的一个。
场域内反交错(intra-field deinterlacing)
这是种非常容易且非常节省资源的一种反交错方法,通常只需要一行像素的缓冲存储器以及简单的内插。例如“line doubling”,这是一种最常见的单一场反交错方法,简单来说就是将一个场域放大成为一个帧的大小再播出,若是影像来源是每秒60场的交错式影像,使用这个反交错方法将可以得到每秒60帧的渐进式影像。使用这个反交错方法的好处为非常简单且非常快速,硬件的成本将会非常低,但是缺点是画质会看起来比较松散,不锐利;且若是影像中含有横向的细线,在某些场可能会刚好没有被扫描到,因此重建出来的影像细线的部分看起来会有闪烁的感觉。
上图是一个使用“line doubling”反交错方法的示例,使用简单的内插算法,看以看得出来画质相当松散;若是改使用更复杂的内插算法将可以提升一些内插的质量。''
场域间反交错(inter-field deinterlacing)
场域间反交错就是将连续的两个场结合为一个帧的方法。例如“weave”,他是将连续的两个场直接结合成为一个帧,不做任何修改;由于在垂直方向保留了全部的分辨率(不像line doubling只有一半的分辨率),因此使用“weave”反交错得到的画质比使用“line doubling”好,但是只有在画面静止不动的地方,在画面有移动的地方会有明显的横向条纹以及锯齿;若是连续的两个场刚好是属于影像中场景变换的部分,那么使用“weave”会发生将两个不同场景合并成为一个帧的所谓鬼影的现象。另外使用“weave”反交错将会把每秒60场的交错式影像转换为每秒30帧的渐进式影像。场间反交错方法需要一个场大小的缓冲存储器,比起单一场反交错方法所需要的略多,但硬件还是相当的简单及便宜。
上图是使用“weave”去错方法的示例,在画面静止不动的地方画质比起使用“line doubling”反交错锐利的多,例如在观众席的部分。但是在画面中移动快速的网球选手身上出现了许多恼人的横向线条,这是由于两个场拍摄的时间不同所造成的现象。''
动态适应性反交错(motion adaptive deinterlacing)
动态适应性反交错方法是侦测影像中何处是动态的,以及何处是静态的;在画面中静态的部分使用场间反交错以得到垂直方向完整的分辨率,而在动态的部分使用单一场反交错以避免锯齿以及鬼影的现象。使用这个方法侦测动态的算法是相当重要的,不好的算法也会导致一些侦测错误使得画面中出现一些恼人的线条。使用动态适应性反交错方法需要比较快速的硬件去计算动态侦测算法,另外也需要一或多个场的缓冲存储器,算法使用越多的场来侦测动态将会越准确,但是相对的需要更好更昂贵的硬件。
动态补偿反交错(motion compensated deinterlacing)
动态补偿反交错方法根据邻近的场使用动态估计(motion estimation)去预测邻近的场之间画面中物体的移动,借由动态估计可以得到的画面中每一个宏块(macroblock)的动态向量(motion vector),然后使用前一个场以及动态向量可以重建出一个新的场,在将此两个场合并完成反交错。使用这个反交错方法将会得到非常好的影像质量,因为这个反交错方法作了非常复杂且精准的预测;但是动态估计需要非常大量的计算,且也需要非常大的缓冲存储器去暂存每个方块估计的结果,这使得使用动态补偿反交错方法的反交错装置非常的昂贵且速度缓慢,使得它目前无法应用在消费性产品以及有即时需求的显示装置上。
反交错的时机
一个影片从被拍摄到被用户观看经过了许多的程序与不同的途径;最终用户得到的影像质量会因为反交错时间的不同而有所改变。
- 影片在电影公司、工作室或是发行商就进行反交错,那么将可以得到最好的质量,因为在这些地方有专业的人员以及足够的经费与足够的时间可以使用威力强大却昂贵且缓慢的反交错装置,例如使用动态补偿反交错方法的装置。
- 影片在被广播时反交错,那么会有不错的质量,因为电视公司通常会有专业的人员以及足够的经费去购买昂贵的装置,但是广播必须是即时的,因此在这种情形下必须考虑反交错装置的执行速度,运作太慢的反交错装置将不能被考虑使用。
- 影片在个人电脑上使用软件反交错,最终的质量变动会相当大;现今有相当多的反交错软件可以被用户使用,有些效果相当好且用户在个人电脑上反交错并没有即时的需求。但是大部分的反交错方法的表现是与影像的内容相关的,一个在影片A运作相当好的反交错方法在影片B却不一定适用;而一般的用户并没有足够的知识去选择反交错的方法。
- 影片在消费性的电子产品上反交错,产品的价钱将会决定反交错的质量。在这些电子产品例如数码电视、DVD播放器等,反交错必须是即时的,速度快效果又好的反交错装置是很昂贵的,但是消费性电子商品上有严格的硬件价格限制,因此最终的质量是被价格所决定的。例如目前大部分的小尺寸显示器都只使用了简单的单一场反交错方法。
外部链接
- 100FPS.COM (页面存档备份,存于互联网档案馆) - 许多反交错的示例
- DVD progressive scanning (页面存档备份,存于互联网档案馆) – DVD的反交错
- 3:2 Pulldown and Deinterlacing - 3:2 Pulldown
- 数码电视之反交错[永久失效链接] - 反交错理论