浅谈用低像素复原出高像素图像的“超解像技术”

    [投影之窗消息]  随着4K(3840×2160)/8K(7680×4320)广播电视试验启动时间的临近,有关高分辨率数字内容的话题越来越丰富。与此同时,将全高清(2K、1920×1080)图像转换为4K/8K图像的超解像技术也备受关注。超解像技术可生成分辨率高于原图像的图像。不过,电视用超解像技术只能利用周围及前后帧的像素信息来补充不足的像素,来提高“解像感”。那么,如何通过复原缺失的像素来提高分辨率?
.

.
    具体方法是使用预备知识。比如,预备知识中有摄像劣化模式。据NEC信息与媒体处理研究所介绍,如果预先锁定拍摄对象和光学系统,就能使超过光学系统的分辨率来放大图像时的劣化实现模式化。比如,用特定摄像头来拍摄汽车的车牌及人的面部等特定对象时,就会在劣化图像和原始图像之间显示出很高的相关性。车牌中的“3”和人的眼部会分别进行相同的劣化。如果预先将这种劣化图像和原始图像制作成数据库,通过对拍摄获得的劣化图像进行匹配,就能推测出原始图像。
.
    采用这种方法时,复原准确率取决于数据库的精度。数据库精度可以通过掌握原始图像和劣化图像的对照规律来提高。除了监控摄像头之外,NEC信息与媒体处理研究所还在研究根据卫星、汽车及无人驾驶飞机配备的摄像头所拍摄并积累的图像来掌握这种对应规律的方法。
..

.


.
    让侦查卫星拍摄的战斗机机影变得清晰来锁定机型;逐步清楚地展现监控摄像头拍摄的“模糊面部”——这些都是经常在电影上看到的场景。但是,因分辨率不够而变得不清楚的图像中缺少再现原始图像所需要的信息。在现实世界中不可能进行这种复原。比如,将放大的“模糊”图像补充完整之后,面部并不会变得清晰起来。
.
    NEC信息与媒体处理研究所目前正在致力于一项有望应用于社会基础设施、城市监控及搜查机构的研究,也即设法使电影里的场景变成现实。这是。尽管这项研究可以称得上能够“无中生有”,但通过利用图像以外的图像补充信息,以很高的准确率复原了所缺失的像素。
.

.
    除了这种方法之外,还有一种方法可在使用视频等多张连续图像时,补充不特定对象和光学系统的不足像素。如果被拍摄对象与摄像头没有相对静止,某一图像所缺少的像素往往会反映到下一个图像中。NEC信息与媒体处理研究所拥有以小于像素间距的间距来调整位置的技术,可以通过用多张图像反复进行位置调整,来追加不足的像素。
.
    另外,NEC信息与媒体处理还在推进一项研究,虽然不属于超解像技术,但可以使用除可见光外还能投射多种波长光的摄像头,使肉眼看不到的影像实现可视化。这项研究的优点并不仅限于能用红外线摄像头看到可见光下看不到的物体。比如,首先根据红外线摄像头的图像,使物体和摄像头之间的光学特性形成模型,然后根据该模型推测出可见光下的物体和摄像头之间的光学特性模型。使用这两种光学特性模型,能根据不清楚的可见光图像,推测出接近于原图的可见光图像。