像素偏移

像素偏移 (英語:Pixel Shift,也译作像素位移)是一种辅助提升成像画质的技术,用于数码成像获得更好的色彩分辨率,或生成获得超分辨率图像

配置像素偏移技术的奥林巴斯 E-M5II 相机


原理与实现

原理

 
拜爾式排列的色彩濾鏡,单一位置只能采集单色信息

像素偏移具有两种特定的实现,而其对应的原理并不相同。像素与像素之间存在间隙,而传感器无法捕捉这其中的信号,在亚像素(英語:Sub Pixel)范畴内,进行信息采集,用于补充图像,可以使最终获得图像,得到比传感器本身更高的分辨率。而就拜耳传感器结构而言,其固有的限制在于单一亚像素位置只能获得R、G、B其中一种色彩光线的信息,在合成中损失了其他部分;如果复用这些位置,则可以获得较高色彩分辨率的图像,同时也可以抑制摩尔纹

额外信息的采集,可以通过布置多传感器,或是单一传感器位移后多张拍摄并合成实现;后者通常利用了相机上配置的传感器防抖机构实现,这也是“像素位移”这一名称的由来。

技术实现

在数码摄影早期,受限于单块传感器像素数限制,通常会采用空间多块图像传感器,逻辑上偏移亚像素单位,以获得画质提升。这类排布与3CCD英语3CCD技术存在交集,故往往一同使用。1995年,由美能达爱克发联合开发的RD-175即为应用像素偏移式分布的单反相机[1]

在早期的高清制作中,受限于图像传感器成本或产能,流行的做法是在3CCD结构中,采用单块分辨率为较低的传感器,彼此错开像素,由机内插值合成全高清影像。例如松下的HVX200,使用三片960x540传感器;索尼的HDV采用三片960x1080传感器[2]

利用单块传感器位移后,进行多帧拍摄合成的技术,则利用了出现在数码相机上的防抖机构,利用移动传感器补偿进行防抖的分支。

首先做出实践的是哈苏,其在2008年推出的H3DII-39 MS上首先推出[3],MS即代表「Multi-Shot」,这一模式下,会轮换RGB亚像素位置进行拍摄,最终同样生成39MP图像,但具有更好的图像分辨率。2011年的哈苏H4D-200 MS,将这一功能扩展到超分辨率获取,可以以50MP的传感器,移动并拍摄6张,实现200MP输出。

2015年,宾得与奥林巴斯分别在自己的相机产品上配置像素位移功能,代表作分别是K3 IIE-M5 MarkII英语Olympus OM-D E-M5 Mark II,各自的实现也分别是更好的色彩分辨率与更高的像素输出。在此之后,索尼、松下以及徕卡公司纷纷在自己的数码相机中加入该功能。

由于应用到防抖组件,也有玩家将该功能戏称作「摇摇乐」。

由于从成像机理上说,现今的显微镜望远镜也有采用传感器成像,本质上来说是一类特殊用途的数码相机,故也可以应用到像素偏移技术,例如徕卡的DMC6200[4],而例如奥林巴斯公司,其将应用在自己显微镜上的技术命名为OSR,并设立了专门的介绍页面,号称可以图片光学衍射极限,获得水平清晰度120nm的图像[5]

除了内置功能,一些爱好者也将应用可能拓展到所有相机。由于手持拍摄时,天然具有轻微的位移,在此条件下拍摄多张,之后以软件进行对齐叠加处理,以获得分辨率收益[6][7] 。这一应用可能也迅速在手机摄影上得以实施,由于相对受限的传感器及镜头模组配置,以及较为强力的计算处理能力,使得这一领域对于计算摄影相关的提升十分有兴趣,2015年即出现了可以输出4倍分辨率(32MP)的应用Hydra[8][9];在2018年,Google在Pixel 3世代手机上配置了单枚后置摄像头,但依然以超分辨率方式,于Google Camera内提供了长焦拍摄功能,称作「Super Res Zoom」,即以此实现[10],次年,该研究于SIGGRAPH 2019发布[11]

应用

消费级数码相机

不同厂商和相机之间,实现不同。宾得偏向于输出等像素高色深的照片,奥林巴斯则一贯致力于输出四倍像素。而机能差异也导致了差别,有的机器,如索尼,无法完成机内处理,需要打包保存在存储卡,等待后续处理;奥林巴斯和松下可以完成机内合成,也保留以电脑后制的可能。

在拍摄题材方面,通常集中限制在静物;但松下公司的S1系列,提供了动体识别,可以在拍摄合成中识别运动物体,而不进行叠加,以免产生虚影[12]。虽然其间使用电子快门,但现今多数拍摄仍不支持闪光灯

应用像素偏移技术的消费类数码相机[13]
厂商 相机名称 发布年份 传感器像素 输出像素
哈苏
Hasselblad
H3DII-39 MS 2008 39MP 39MP
哈苏
Hasselblad
H3DII-50 MS 2009-11 50MP 50MP
哈苏
Hasselblad
H4D-50 MS 2010-05 50MP 50MP
哈苏
Hasselblad
H4D-200 MS 2011-05 50MP 200MP
哈苏
Hasselblad
H5D-200 MS 2014-08 50MP 200MP
哈苏
Hasselblad
H6D-400C MS 2018-10 100MP 400MP
奥林巴斯
Olympus
E-M5 MarkII 2015-02 16MP 64MP
奥林巴斯
Olympus
PEN-F 2016-01 20MP 80MP
奥林巴斯
Olympus
E-M1 MarkII 2016-12 20MP 80MP
奥林巴斯
Olympus
E-M1 X 2019-01 20MP 80MP
手持模式50MP
奥林巴斯
Olympus
E-M5 Mark III 2019-10 20MP 80MP
奥林巴斯
Olympus
E-M1 Mark III 2020-02 20MP 80MP
手持模式50MP
宾得
Pentax
K3 II 2015-04 24MP 24MP
宾得
Pentax
K1 2016-02 36MP 36MP
宾得
Pentax
K70 2016-06 24MP 24MP
宾得
Pentax
KP 2017-01 24MP 24MP
宾得
Pentax
K1 II 2018-02 36MP 36MP
宾得
Pentax
K3 III 2021-03 26MP 26MP
理光
Ricoh
GR III[14] 2018-09*
2019-03
24MP 24MP
索尼
SONY
α7R III 2017-10 42MP 42MP
索尼
SONY
α7R IV 2019-07 61MP 240MP
索尼
SONY
α1 2021-01 50MP 50MP/200MP
松下
Panasonic
G9 2017-11 20MP 80MP
松下
Panasonic
S1 2019-02 24MP 96MP
松下
Panasonic
S1R 2019-02 47MP 187MP
松下
Panasonic
S1H 2019-05 24MP 96MP
松下
Panasonic
S5 2020-09 24MP 96MP
徕卡
Leica
SL2 2019-11 47MP 187MP
徕卡
Leica
SL2-S 2020-12 24MP 96MP
富士胶片
Fijifilm
GFX100[15] 2019-06
2020-11*
102MP 400MP
富士胶片
Fijifilm
GFX100S 2021-01 102MP 400MP
  • 理光GR III机型,其开发阶段披露时间为2018年9月的Photokina,但实际售卖在2019年3月。
  • 富士胶片的GFX100于2019年6月售卖,但像素位移合成功能在2020年11月追加,同时还推出了专属支持程序「Pixel Shift Combiner」[13]

智能手机

以Hydra为代表的app可以实现高分辨率输出,通常在8MP的iOS设备上,实现生成32MP图像。

Google相机在2018年更新,伴随Pixel 3提供了Super Res Shot,弥补了没有配置长焦镜头的缺憾。

命名

不同厂商于不同地区,可能使用不相同的命名,以下为部分命名:

厂商 英语 日语 简体中文 繁体中文
哈苏 Multi Shot - - -
奥林巴斯 High Res Shot ハイレゾショット 高分辨率拍摄[16]
宾得 Real Resolution[17] 超解像技術
英文转译:リアル・レゾリューション・システム
像素偏移分辨率系统
索尼 Pixel Shift Multi Shooting[18] ピクセルシフトマルチ撮影[19] 像素转换多重拍摄[20] 像素偏移多重拍攝[21]
松下 高解像撮影モード 高分辨率模式[22]
徕卡 multishot mode[23] - - -

参考与引用

  1. ^ John Henshall. MINOLTA RD-175 = AGFA ACTIONCAM. 1996-05 [2020-05-14]. (原始内容存档于2014-01-07) (英语). 
  2. ^ The ProHD Report (PDF). JVC. [2020-05-14]. (原始内容存档 (PDF)于2020-05-14) (英语). 
  3. ^ Hasselblad creates 50MP multi-shot full-color camera. DPReview. 2009-11-19 [2020-05-14]. (原始内容存档于2016-05-17). 
  4. ^ Pixel Shift Camera DMC6200. [2020-05-14]. (原始内容存档于2020-05-14) (英语). 
  5. ^ 奥林巴斯的超分辨率技术. 奥林巴斯. [失效連結]
  6. ^ Ian Norman. A Practical Guide to Creating Superresolution Photos with Photoshop. Petapixel. 2015-02-21 [2020-05-14]. (原始内容存档于2020-11-29) (英语). 
  7. ^ Dan Bracaglia, Rishi Sanyal. Here's how to create a super resolution photo with any camera. DPReview. 2018-04-25 [2020-05-14]. (原始内容存档于2020-11-12). 
  8. ^ Hydra. [2020-05-14]. (原始内容存档于2020-11-11). 
  9. ^ Lars Rehm. Hydra for iOS uses multi-frame techniques for higher resolution and lower noise. 2015-01-30 [2020-05-14]. (原始内容存档于2019-08-29). 
  10. ^ Bartlomiej Wronski. See Better and Further with Super Res Zoom on the Pixel 3. Google AI Blog. [2020-05-14]. (原始内容存档于2020-12-14). 
  11. ^ B. Wronski, I. Garcia-Dorado, M. Ernst, D. Kelly, M. Krainin, C.K. Liang, M. Levoy, and P. Milanfar. Handheld Multi-frame Super-resolution. [2020-05-14]. (原始内容存档于2020-12-09) (英语). 
  12. ^ 特長|新たな表現を切り拓く. Panasonic. [2020-05-14]. (原始内容存档于2020-09-29). 
  13. ^ 13.0 13.1 应用像素位移的相机. 2019-11-08 [2020-05-14]. (原始内容存档于2021-01-11) (中文(简体)). 
  14. ^ GR III 特長 [高画質]. Ricoh jp. [2020-07-09]. (原始内容存档于2020-07-09) (日语). 
  15. ^ Fujifilm develops the new “Pixel Shift Multi-Shot” function to capture and generate the world's highest resolution of 400MP images with accurate color reproduction. 2020-11-25 [2020-11-25]. (原始内容存档于2020-11-27) (英语). 
  16. ^ OM-D E-M1 Mark II 产品特点 高画质. 奥林巴斯. [2020-05-14]. (原始内容存档于2020-02-20). 
  17. ^ Chris M Williams. Pentax K-1 Pixel Shift Resolution: Updated Field Test. DPReview. [2020-05-14]. (原始内容存档于2020-11-11) (英语). 
  18. ^ Pixel Shift Multi Shooting. 索尼. [2020-05-14]. (原始内容存档于2020-11-12) (英语). 
  19. ^ ピクセルシフトマルチ撮影. 索尼. [2020-05-14]. (原始内容存档于2020-08-11) (日语). 
  20. ^ 像素转换多重拍摄. 索尼 (中文(简体)). 
  21. ^ 像素偏移多重拍攝. 索尼 (中文(繁體)). 
  22. ^ 照片拍摄性能. 松下电器. [2020-05-14]. (原始内容存档于2020-01-12) (中文(简体)). 
  23. ^ THE NEW LEICA SL2. It's your choice.. Leica. [2020-05-14]. (原始内容存档于2020-10-01).