清 华 大 学 自适应超分辨率图像盲重建算 法研究与应用
advertisement
清 华 大 学 综 合 论 文 训 练 题目：自适应超分辨率图像盲重建算 法研究与应用 系 别：自动化系 专 业：自动化专业 姓 名：白云飞 指导教师：罗予频 教授 2010 年 6 月 20 日 中文摘要 超分辨率图像重建在当前的图像处理领域得到了快速的发展，尤其是盲重建 技术可以在无点源扩散函数（PSF）先验信息的情况下生成具有高空间分辨率的 图像。 本文提出了基于多帧图像的自适应超分辨率图像盲重建算法，实现了对重建 图像正则约束项参数的自适应选择，生成图像的质量尤其是边缘保持的特性，在 实例验证中优于最大后验概率（MAP）方法。本文采用 Lorentzian 型函数作为重 建图像正则约束项中的扩散系数，以特征向量子空间约束（EVAM）正则化扩展 PSF，从而实现对于结果图像和 PSF 的同时估计。除此之外，为了实现正则项参 数的自适应选择，本文也提出了一种新的鲁棒的无参考图像质量评价方法，这一 方法可以给出生成图像的模糊度和振铃效应的评价值，从而作为指导参数选择的 反馈信息。 同时，本文应用 C#语言和 Windows Forms 重新编写超分辨图像重建应用程 序，解决已有平台中界面设计不合理和功能实现不完整的问题。 关键词：超分辨率图像重建； 超分辨率图像盲重建； 无参考图像质量评价 I ABSTRACT Super-resolution (SR) image reconstruction is a rapidly developing area in image processing. Especially, blind SR can generate high space resolution image without requiring priori information of the point spread function (PSF). In this paper, we propose a self-adaptive blind super-resolution image reconstruction approach which is based on multiple images. Our method can adaptively choose the parameter of regularization term. The quality of resulting image especially in the respect of edge-preserving property is better than approaches such as maximum a posteriori estimation (MAP) tested with practical examples. We employ Lorentzian function as spread coefficient and partial differential function as regularization term of resulting image. A generalized version of the eigenvector-based alternating minimization constraint (EVAM) is used to regularize PSF and estimate resulting image and PSF simultaneously. In addition, in order to achieve self-adaptive regularization terms parameter choosing, we also present a new robust no-reference image quality assessment method which provides blurring and ringing effect assessment value as feedback. In addition, we utilize C# and Windows Forms to rebuild the platform of SR application program as well as solve the deficiencies of user interface and functions in previous version. Keywords：super-resolution image reconstruction; blind SR; no-reference image quality assessment II 目 第1章 录 引 言 ............................................................................................1 1.1 研究背景 ...........................................................................................1 1.1.1 意义 ..............................................................................................1 1.1.2 难点 ..............................................................................................2 1.2 研究现状 ...........................................................................................3 1.2.2 MAP ...............................................................................................5 1.2.3 POCS .............................................................................................6 1.2.4 IBP .................................................................................................6 1.2.5 Blind SR .........................................................................................6 1.2.6 PDE ................................................................................................7 1.2.7 图像质量评价 ...............................................................................7 1.3 论文的主要工作和各章节安排 ..........................................................8 第2章 超分辨率图像重建算法框架....................................................... 10 2.1 数学模型 ......................................................................................... 10 2.2 超分辨率图像盲重建 ....................................................................... 12 2.3 自适应超分辨率图像盲重建方法框架概述 ..................................... 12 第3章 自适应超分辨率图像盲重建算法描述 ........................................ 14 3.1 代价函数的形式 .............................................................................. 14 3.2 重建图像正则约束项 ....................................................................... 15 3.3 EVAM 约束 ...................................................................................... 18 3.4 交替最小化 ...................................................................................... 18 3.5 无参考图像质量评价方法 ............................................................... 19 3.5.1 考虑模糊度的图像质量评价方法 ............................................... 20 3.5.2 考虑视觉特性的图像质量评价方法 ............................................ 21 3.5.3 考虑振铃效应的图像质量评价方法 ............................................ 23 3.5.4 完整的图像质量评价方法 ........................................................... 24 III 3.5.5 正则约束项参数自适应选择 ....................................................... 25 3.6 本章小结 ......................................................................................... 27 第4章 自适应超分辨率图像盲重建实验及分析 .................................... 28 4.1 图像质量评价实验 .......................................................................... 28 4.2 仿真数据实验 .................................................................................. 30 4.3 真实数据实验 .................................................................................. 33 第5章 应用程序设计 ............................................................................. 34 5.1 已有平台 ......................................................................................... 34 5.2 问题分析 ......................................................................................... 35 5.3 实现方法 ......................................................................................... 35 5.3.1 DLL 的生成和调用 ...................................................................... 35 5.3.2 C++与 Matlab 的混合编程 ........................................................... 36 5.4 平台结果 ......................................................................................... 37 第6章 总结与工作展望 ......................................................................... 39 6.1 总结 ................................................................................................. 39 6.2 工作展望 ......................................................................................... 40 6.2.1 实时性 ........................................................................................ 40 6.2.2 基于单帧的方法 ......................................................................... 40 插图索引 ................................................................................................... 41 表格索引 ................................................................................................... 42 参考文献 ................................................................................................... 43 致 谢 ......................................................................................................... 45 声 明 ......................................................................................................... 46 在学期间参加课题的研究成果 .................................................................. 59 IV 第1章 引 言 1.1 研究背景 1.1.1 意义 获得高质量的图像始终是人们的需求，为了获得空间分辨率高的图片，高像 素的摄像设备得到了快速的发展。然而在很多情况下，例如远距离的卫星照片， 以及所拍摄物体自身和拍摄设备的运动等因素影响，所获得图片的质量尤其是图 像的空间分辨率仍然有限。改善硬件设备往往意味着较高的成本，因此以采集的 低分辨率图像作为输入，通过算法改善图像的质量，使图像的空间分辨率提升， 就有十分重要的应用价值，这也是超分辨率图像重建问题产生的背景。图 1.1 是 高分辨率图像重建应用的两个例子，重建图像的空间分辨率得到提升，图像的细 节变得清晰，可以应用于高质量的数字摄像和打印，同时，得到的结果图像也可 以用于监测等需要显示清晰图像内容的场合。 图1.1 超分辨率图像重建的应用 超分辨率图像重建方法如果从输入图像的数量上划分，可以分为基于多帧图 像的方法，以及基于单帧图像的方法。基于单帧图像由于可以利用的信息有限， 因此图像质量提升的效果也受到一定限制。Glasner 等人提出了利用单幅图像中尺 度相同或存在差异而内容相似部分的重复出现，来重建高分辨率图像[1]。文献 [2] 对基于单帧图像的超分辨率图像重建方法也进行了综述。 1 在更多的情况下，我们可以获取同一个场景的多幅图像信息，例如卫星图像 以及摄像设备录制的视频等，利用这些低分辨率图像的信息，可以通过重建算法 复原出同一场景的高分辨率图像。相较于最早提出的频率域方法[3]，常用的空间 域超分辨率图像重建算法如凸集投影法（POCS）[4]、迭代反投影法（IBP）[5,6]、 最大后验概率法（MAP）[7,8,9]中，都需要利用点源扩散函数（PSF）的先验信息， 也即图像模糊变形的信息，而在实际情况下 PSF 是较难事先正确估计的，而盲重 建算法则是一类不需要 PSF 先验信息而实现超分辨率图像重建的方法。Šroubek 等人提出了以偏微分方程（PDE）作为图像正则约束的盲重建算法[10]，但是图像 的细节仍不能很好的恢复，同时正则约束项参数在很大程度上决定着图像的平滑 程度，而算法中的正则约束项参数需要人工经验调节，有很大的随机性，因此参 数自适应的超分辨率图像盲重建方法就显得很有意义。 另一方面，MFC 在应用程序框架中运用广泛，然而相比于近年来快速发展的 Windows Forms，MFC 的封装过程相对复杂，也给开发带来了难度。Windows Forms 应用程序是在.NET 平台下由 Windows 操作系统所执行的程序，界面设计功能优 良，.NET 框架的核心是提供一个环境，允许在单个操作系统中运行使用任何语言 所编写的程序。同时因.NET 应运而生的 C#语言，在 C++的灵活性基础上提高了 安全性。在.NET 环境下，应用 C#语言和 Windows Forms 编写具有完整功能和良 好用户交互性的应用程序平台，可以使超分辨率图像重建算法具有更好的实用 性。 1.1.2 难点 常用的空间域超分辨率图像重建算法，如 MAP、POCS、IBP 等都需要图像 和 PSF 的先验信息，而这些先验信息在实际的应用场景中较难获得，且在很大程 度上影响生成图像的质量。而超分辨率图像盲重建算法虽然解决了 PSF 先验信息 的问题，但是生成图像的清晰度不高，且正则约束项参数需要人工调整，有很大 的随机性。同时，图像质量评价方法也是图像处理领域的瓶颈之一，常用的客观 评价方法分为有参考图像质量评价方法和无参考图像质量评价方法两类，相较于 前者，无参考图像质量评价方法因为没有可以对比的参考图像，因此如果要求能 够真实地反映图像的质量，尤其是要求具有鲁棒性并能考虑到视觉因素，则具有 一定的设计难度。 从运行效率的角度考虑，C++相较于 C#编程语言具有一定的优势，而相较于 封装复杂的 MFC，Windows Forms 对于图形界面的设计功能优良，同时适应 2 于.NET 的 C#语言也具有灵活性和安全性的特点。在自适应超分辨率图像盲重建 应用程序的设计中，涉及.NET 环境下 Windows Forms 和 C#语言的程序开发，MFC 规则 dll（MFC regular dll）的生成与 C#对其的调用，C++和 Matlab 的混合编程等 问题。 本文主要在超分辨率图像盲重建算法框架上进行改进，通过选择适当的图像 正则约束项实现了盲重建图像的图像纹理细节保持，提出了鲁棒的针对模糊度和 振铃效应的图像质量评价方法，并将生成图像的评价值作为反馈信息，指导算法 中重建图像正则约束项参数的自适应选择。同时解决了平台开发中的编程技术问 题，实现了超分辨率图像盲重建应用程序的开发设计。 1.2 研究现状 高分辨图像意味着图像中蕴含着更多的空间与像素强度信息，而超分辨率图 像重建研究的问题是如何在已有低空间分辨率图像的条件下，估计生成具有高空 间分辨率的图像。超分辨率图像重建方法如果从输入的原始图像的数量上划分， 可以分为基于多帧图像的方法，以及基于单帧图像的方法。关于超分辨率图像的 综述可以参见参考文献 [2] [11]。 频率域方法和空间域方法是解决基于多帧图像超分辨率图像重建问题的两类 方法，由于后者具有良好的处理输入图像模糊和噪声的特性，在最近得到了更为 广泛的应用和发展。虽然如此，频率域方法却是最早提出的有效的超分辨率图像 重建算法[3]，同时能够处理模糊和变形图像的频率域方法也得到提出[12]。频率域 方法的思路是利用离散频谱和连续频谱中的混叠特性以及傅立叶变换中的平移 特性来估计高分辨率图像的频谱，从而复原出高分辨率图像。 空间域方法因其能够生成质量更佳的图像而得到了更多研究的关注，常用的 空间域方法例如 POCS[4]，IBP[5,6]，MAP[7,8,9]等，然而这些方法所具有的共同的问 题是都需要 PSF 的先验信息，而这在实际应用中是较难实现的。PSF 是一个点到 点的函数，它反映了从实际场景中获取观测图像的过程中的图像的模糊和变形。 为了解决 PSF 较难估计这一问题，超分辨率图像盲重建算法得以提出，它将图像 配准、图像复原和 PSF 估计等过程合并，从而成为超分辨率图像重建领域中具有 较大发展潜力的方向之一。关于超分辨率图像重建方法的分类可以用图 1.2 表示， 且它们的思路与特点列表如表 1.1。 3 图1.2 超分辨率图像重建方法分类 图像评价无论在研究还是实际应用中都有很重要的作用，例如一个有效而鲁 棒的图像质量评价方法可以提供一种评价标准来指导图像处理算法的设计。然 而，目前还没有形成统一的有效的图像评价方法。从总体上，图像评价可以分为 主观评价与客观评价两种，主观评价即由人工来评定，对于相同的图片组织不同 的人给出各自的评价等级，从而得到图片某一方面的评价，显然这种方法虽然能 够反映图像给人的真实感受，但操作复杂且可重复性较差。 另一类图像评价方法即客观评价方法，通过对图像中的像素数据进行一定形 式的计算，得到某一种指标的数值评价。这种方法较稳定，但是往往由于评价方 法考虑的因素有限，不能完全真实地反映图像的质量。客观评价方法又可以分为 有参考图像质量评价方法和无参考图像质量评价方法两种，有参考图像质量评价 方法是通过比较参考图像和待评价图像之间的差异或相似性，得到关于某一指标 的评价信息，但这种方法由于需要参考图像，因此应用范围有一定的局限。广泛 使用的有参考图像质量评价方法有均方误差（MSE），峰值信噪比（PSNR），增 强信噪比（ISNR）等。而无参考图像质量评价方法则较为灵活，但是有效的评价 方法却需要进一步研究。 4 表1.1 超分辨率图像重建算法比较 方法 思想 特点 频率域方法，[Tsai et al., 1984] 估计 HR 图像的频谱 理论简单，计算量小，效果一般 凸集投影法，[Sauer et al., 定义凸约束集为 HR 图像解空间中可行解 模型简单，解不唯一，收敛速度慢 1987] 的约束条件，凸约束集求交 迭代反投影法，[Irani et al., 每次得到的 HR 图像估计由系统模型生成 1993] 相应的 LR 图像，并与真实 LR 残差修正下 易实现，较难使用先验约束 一次迭代运算 MAP 方法，[Schultz et al., 使估计的后验概率最大 利用了先验知识，收敛稳定性高，计算量大 小波方法，[Nguyen et al., 将配准的 LR 图像在小波领域展开，在不同 计算量小，没有考虑先验信息 2000] 尺度插值得到 HR 图像的小波系数 1994] 1.2.2 MAP MAP 方法是常用的空间域方法，它的思路是在给定低分辨率图像的情况下使 估计的高分辨率图像的后验概率最大。Hardie 等人在 1997 年提出了结合图像配 准和高分辨率图像同时估计的超分辨率图像重建 MAP 方法[8]，在这一方法中，像 素强度分布的先验信息使用 Gibbs 分布模型，在对高分辨率图像估计优化迭代的 过程当中对图像配准参数进行更新。然而该方法中的平滑参数需要凭经验选择， 同时方法只适用于全局平移的情况。Li 等人将 MAP 方法与小波理论结合[9]，利 用了小波系数的概率密度函数可以由混合 Gaussian 概率密度函数很好地描述这一 特性。在这一方法中，小波域的隐马尔可夫树（HMT）作为先验模型，被用来估 计从一系列经过变形、模糊和下采样之后的低分辨率图像得到的超分辨率结果图 像，它解决了经典 MAP-Huber 方法只能针对无 Gaussian 模糊核的成像系统的问 题。Martins 等人也对 MAP 进行了扩展[13]，该方法使用了马尔可夫随机场（Markov 5 Random Field），同时使用 Potts-Strauss 模型作为真实图像概率密度函数的先验信 息。 1.2.3 POCS 凸集投影法是另一种空间域方法，它的思路是定义一个凸约束集来作为高分 辨率图像的解空间，在各不同解空间的交集中来求最终解。POCS 可以与其它的 方法例如 MAP 等相结合。我们可以先利用凸集投影法得到解空间，在利用 MAP 方法在这个解空间中获取高分辨率的图像。 1.2.4 IBP 迭代反投影法的思路是利用每一次迭代之后估计得到的高分辨率图像通过观 测模型生成低分辨率图像，将这一低分辨率图像与实际观测得到的低分辨率图像 进行对比，两者之差用于指导下一次迭代算法的执行。在 IBP 的框架下，Ezra 等 人提出了 Penrose Pixels 方法[6]来对摄像设备像素的分布进行近似，这种使用了更 加精准的像素分布模型的方法使得迭代反投影法能够获得更加精准的图像，但是 在图像重建的过程会产生一些规则的噪声。 1.2.5 Blind SR 上述空间域超分辨率图像重建算法中，都需要利用 PSF 的先验信息，而在实 际情况下由于硬件设备等原因造成的模糊和变形是无法事先正确估计的，而盲重 建算法则是一类不需要 PSF 先验信息而实现超分辨率图像重建的方法，它将图像 配准、图像复原以及 PSF 的估计合而为一。近年来，偏微分方程在图像处理领域 得到了广泛的使用，由于它具有保持图像边缘且抑制噪声的特性因此被用作超分 辨率图像盲重建的一种框架。Šroubek 等人提出了基于多通道图像复原方法实现 超分辨率图像的盲复原[10]。Chen 等人在 2007 年提出了基于偏微分方程的盲重建 算法[14]，但是图像的细节仍不能很好的恢复，同时算法中的正则约束项的参数需 要人工的经验调节，有很大的随机性，往往不能得到最优解。而本文中的方法改 善了重建图像的正则约束项，使得图像的细节能够有效复原，同时无参考图像评 价方法提供的图像质量数值评价值作为反馈信息可以实现算法中正则约束参数 的自适应选择，从而逼近最优的高分辨率图像。 6 1.2.6 PDE PDE 是解决图像超分辨率问题的一种新的框架，以 PDE 作为图像的约束可以 有效地保持图像的边缘特性。Elad 等人提出了基于实例的 PDE 方法[15]，该方法 通过学习的方法获取特定内容图像的正则约束。Chatterjee 等人提出了子带约束的 方法[16]，该方法将边缘和纹理的细节从图像中分离出，分别进行约束并优化。 Šroubek 等人提出了一种基于正则化约束的多通道图像盲重建复原方法[10]，该方 法采用图像全变分技术和特征向量子空间（EVAM）的约束条件由多幅模糊图像 实现高分辨率图像的重建。本文中提出的方法也是基于 PDE 的框架，引入了有效 保持纹理细节的图像约束的同时实现了正则约束项参数的自适应选择，可以有效 地生成清晰的高分辨率图像。 1.2.7 图像质量评价 图像质量评价方法由于较难做到能够完整真实地反映图像的质量，且往往涉 及人眼视觉特性等其它领域的研究，因此有效、鲁棒且易实现的图像质量评价方 法一直是图像处理领域的瓶颈。目前的图像质量评价方法可以分为主观评价方法 与客观评价方法两大类。 在主观评价方法中，平均判分的方法（MOS）是常用的图像评价方法，通过 随机组织大量的测试人员对图像进行观察，并给出各自对于图像的等级评价，最 后将这些评价结果进行平均得到最终的图像质量评价值。这种主观的方法能够反 映出人眼的真实感觉也即能够反映出图像的真实质量，但是这种方法的缺点也是 显而易见的，那就是实施较为复杂，且不具备较好的可重复性。 另一方面，客观图像质量评价方法则在应用中有着更加重要的实际价值，这 类方法对图像中的像素数据利用特定公式进行的计算，从而得到图像某一方面指 标的数值评价结果。客观评价方法因其计算方法固定而具有稳定性和可重复性， 但是它通常只能反映图像某一方面的特性，且在实际应用中这种数值评价结果也 与真实的图像质量存在出入。 客观图像质量评价方法进一步又可以分为有参考图像质量评价方法和无参 考图像质量评价方法[17]，前者需要已知参考图像，并利用参考图像和待评价图像 之间的差异作为图像质量的评价标准。这种方法可以用于图像传输等带来图像质 量变差的过程当中，将获得的质量下降的图像与原始高质量的图像进行对比，评 价结果可用于监测和改善图像传输过程等, 然而这些方法往往不能真实地反映人 眼的视觉特性。一些常用的有参考图像质量评价方法有 MSE、PSNR、ISNR 等， 7 它们的计算方法分别如式 (1) (2) (3) 所示，其中 H 为参考图像， H 待评价图像， H 0 为初始图像，M 和 N 分别为图像的长宽。而无参考图像质量评价则不需要参考 图像，而仅仅利用观测图像的像素信息来生成图像质量的评价值，因此具有更为 广泛的应用。有些研究者也提出了针对图像中某一特性的计算方法，文献 [18] 是有关无参考图像质量评价方法的一篇综述。 MSE 1 M N ( H ( m , n ) H (m, n)) 2 MN m 1 n 1 PSNR 20log10 M ISNR 10 log10 （1-1） （1-2） 255 MSE N ( H (m, n) H m 1 n 1 M N 0 (m, n)) 2 ( H (m, n) H (m, n)) （1-3） 2 m 1 n 1 1.3 论文的主要工作和各章节安排 针对超分辨率图像重建中 PSF 不易估计的问题，文章采用了超分辨率图像盲 重建的框架，且提出了鲁棒的针对图像模糊度和振铃效应的图像质量评价方法， 将评价值作为反馈信息，指导盲重建算法中重建图像正则约束项参数的自适应选 择，解决了超分辨率图像盲重建算法中参数选择的随机性问题，同时采用了 Lorentzian 函数形式作为图像的正则约束项中的扩散系数，实现了对生成图像的 边缘的保持，使生成的高分辨率图像具有更多的纹理细节从而更加清晰。同时还 利用 C#语言，在.NET 环境下使用 Windows Forms 编写了超分辨率图像盲重建平 台，解决了原平台封装复杂以及功能实现不完善的问题。以下是各章节的具体内 容安排： 第 1 章，引言。介绍超分辨率图像重建的背景和论文的主要工作。 第 2 章，超分辨率图像重建算法框架。介绍了超分辨率图像重建问题的数学 模型和算法框架。 8 第 3 章，自适应超分辨率图像盲重建算法描述。详细介绍了本文提出的自适 应超分辨率图像盲重建算法各部分的原理和实现。 第 4 章，自适应超分辨率图像盲重建实验及分析。以仿真和实际的例子测试 自适应超分辨率图像盲重建算法的运行结果，并和其它的方法进行比较。 第 5 章，应用程序设计。介绍了超分辨率图像盲重建应用程序平台的实现方 法。 第 6 章，总结与工作展望。总结本文的研究内容，并提出了未来的研究方向。 9 第2章 超分辨率图像重建算法框架 2.1 数学模型 基于多帧图像的超分辨率图像重建是融合经模糊、变形、欠采样和噪声退化 后得到的低分辨率图像信息，从而生成高分辨率图像的过程，它可以看成是成像 系统观测模型的逆处理过程，即实际获取的低分辨率图像是高分辨率的图像经过 模糊、变形、均匀下采样以及噪声污染之后得到的。 图像的模糊主要由摄像设备的散焦而引起，由于大气扰动如卫星摄像中大气 层的影响，也会造成图像的模糊，同时物体的运动和摄像设备的运动还会造成运 动模糊。模糊函数通常用点源扩散函数（PSF）表示，通过与原图像卷积得到模 糊的图像。图像的几何变形主要由摄像设备和场景之间的相对位移造成，对于多 帧的超分辨率图像重建问题，低分辨率图像的获得往往是通过摄像设备对同一场 景的多次拍摄以及不同摄像设备的多幅拍摄结果，各帧画面中的场景会产生一定 程度的位移，从而带来图像的几何变形。由于摄像设备硬件条件的限制，使得图 像采样密度不足，造成图像混叠，从而产生下采样的问题。同时，图像的测量误 差、量化误差以及信道传输误差等因素都会带来系统噪声污染，而这种系统噪声 在超分辨率图像重建领域常用一定的数学模型表示。系统观测模型中在不同阶段 生成的图像如图 2.1 所示。 根据文献 [19]，blurring-warping 模型是一种可以较好应用于超分辨率图像重 建领域的图像观测数学模型，将实际获得观测图像的过程用数学公式 (2-1) 表 示。 （2-1） Lk D[M k ( Bk H )] Nk 其中，Lk 是获取的第 k 帧大小为 m n 的低分辨图像，H 是相应的高分辨率图像， 若分辨率提升系数为 q ，则 H 大小为 qm qn ， Bk 为第 k 帧图像的 PSF，与高分 辨率图像进行卷积，表示模糊过程的形式， M k 为运动变形算子， D 为下采样算 子， N k 是系统噪声。 10 图2.1 系统观测模型各阶段图像 由上述超分辨率图像重建的数学模型可知，基于多帧图像的超分辨率图像重 建的问题即是在已获得低分辨率图像 Lk 的情况下，在已知均匀下采样算子 D 的条 件下，还需要同时估计模糊函数 Bk 、变形算子 M k 和系统噪声 N k 等，从而复原出 对应的高分辨率图像 H 。这一问题常常又被分解为三个子问题即图像配准、图像 融合以及图像复原。图像配准的目的是将获得的低分辨率图像映射到高分辨率图 像的像素空间，即估计相应的变形算子 M k ，常用的图像配准算法有光流法、块 匹配法等。图像融合是超分辨率图像重建的核心问题，无论是频域的方法还是空 间域的方法，都是利用低分辨率图像提供的信息消除图像的混叠，生成具有高空 间分辨率的图像。而图像复原则是消除图像噪声和模糊的操作，常常需要利用数 学模型表示对模糊函数和系统噪声的估计。 11 在这里仅考虑全局平移变形的运动模型，且假设成像系统的 PSF 是平移不变 的，可以定义扩展的 PSF 为 Ek ，将图像的模糊卷积运算与图像的平移变形纳入 中心平移的模糊函数与图像的卷积运算中，因此模型可以进一步写为式 (2-2)。 （2-2） Lk D( Ek H ) Nk 这样，超分辨率图像重建问题就是在已知低分辨率图像 Lk 和下采样算子 D ，且 能够估计系统噪声 N k 的情况下，同时求解高分辨率图像 H 以及扩展的 PSF Ek 。 2.2 超分辨率图像盲重建 由前面对超分辨率图像重建模型的描述，在估计高分辨率图像的时候需要已 知对于模糊函数即 PSF 的先验信息，而这常常在实际情况中是不容易得到的，同 时这种先验信息的准确与否直接影响着最终生成的重建图像的质量。而超分辨率 图像盲重建算法则是将超分辨率图像重建中三个子问题即图像配准、图像融合及 图像复原合而为一，在估计高分辨率图像的同时估计 PSF。容易看出超分辨率图 像盲重建是一个非适定问题，常用的盲重建算法采取对生成图像和点源扩散函数 施加正则约束项的方法，因此超分辨率图像盲重建的核心问题即选取合适的正则 约束项模型，以及合适的正则约束项参数，同时采用一定的优化算法，得到生成 图像和 PSF 的稳定解。 2.3 自适应超分辨率图像盲重建方法框架概述 这里简要地概述本文提出的方法的流线，具体各部分算法将在第三部分中做 详细阐述，方法的框架如图 2.2 所示，其中黄色区块表示的是本文中重点研究的 部分。 本文提出的参数自适应盲重建算法流程主要分为两个步骤，在获取了低分辨 率图像之后，首先求解上文中 (2-2) 式，由于求解这一方程是一个非适定问题， 因此需要增加正则约束，使得问题具有稳定解。方法中分别对重建的高分辨率图 像和 PSF 施加正则约束，其中对图像的正则约束采用了偏微分方程（PDE）的形 式，且图像扩散系数采用了 Lorentzian 型函数，可以在抑制噪声的同时有效地保 持图像的细节。对 PSF 的正则约束采用了特征向量子空间（EVAM）的约束条件， 12 EVAM 条件对 Ek 的约束使得各通道 PSF 之间的相关一致性得到保持，避免了 PSF 估计在所有观测图像中对噪声的过拟合。在求解 (2-2) 式的过程中每一次迭代运 用了交替最小化的方法，分别最小化重建图像和 PSF 的正则约束项，且人工设定 迭代次数，使生成的高分辨率图像和 PSF 估计收敛到最终结果。 在生成一张高分辨率图像之后，第二步是对其进行无参考图像质量评价，使 用评价结果作为调节正则参数的反馈信息。本文提出的无参考图像评价方法考虑 了模糊和振铃效应的影响，实现了在无参考图像的条件下，对同一场景的不同图 像的客观数值评价，且在实际的图像例子验证中表现出鲁棒性。算法中不同的重 建图像正则约束项参数会产生不同质量的高分辨率图像，因此质量评价值也与正 则参数的取值具有一一对应关系，将图像质量评价值作为正则参数的函数，通过 确定近似的凸函数区间作为参数优化初始区间，且使用非线性规划的方法得到优 化的评价值与对应正则约束项参数。因为正则参数决定了图像的平滑程度，因此 本文提出的参数自适应的超分辨率图像盲重建方法使得图像的纹理细节得到保 持。 图2.2 自适应超分辨率图像盲重建算法流程框架 13 第3章 自适应超分辨率图像盲重建算法描述 多数的超分辨率图像重建算法均假定低分辨率图像已实现了精确配准，即已 得到了图像的运动变形信息，同时模糊函数即点源扩散函数（PSF）被认为是已 知的成像系统的先验信息。然而对于实际情况，这些假设常常是不适用的，因此 一些超分辨率图像盲重建方法被提出，在这些方法中不仅要解决图像配准、图像 融合和图像复原的问题，还包括了 PSF 的辨识，从而得到对模糊函数的估计。图 像的运动变形信息也可以纳入到第二章中叙述的扩展 PSF 当中，即在估计具有运 动平移特性的 PSF 的同时得到图像的配准信息。超分辨率图像盲重建的问题主要 有针对 PSF 如何提出恰当的模型和约束条件，以及约束条件中参数的设置，以求 得重建图像和 PSF 的稳定解。 本文采用了基于正则化约束的统一方法，实现了对图像配准、图像融合及图 像复原的同时求解，同时提出了无参考图像质量评价方法，将生成图像的质量评 价值作为反馈信息，指导正则约束项参数的自适应选择，从而生成保持图像细节 纹理的清晰的图像。为了解决这样一个非适定问题，对重建图像和扩展 PSF 施加 正则约束，使用拉格朗日乘子法得到待优化的代价函数。对于重建图像的正则约 束，采用了偏微分方程（PDE）的形式，采用各向异性扩散函数在抑制噪声的同 时保持图像边缘信息，扩散系数采用了 Lorentzian 的函数形式，以求尽可能地保 持图像的细节。利用扩展的特征向量子空间（EVAM）的约束条件，来正则化扩 展 PSF，且使用交替最小化的方法来求解重建图像和扩展 PSF。本文提出了无参 考图像质量评价方法，将对图像模糊度和振铃效应的评价值作线性组合，从而得 到鲁棒的图像质量评价，并作为重建图像正则约束项的参数的函数，通过对这一 函数求极值得到优化的正则约束项参数，实现算法参数自适应选择。 3.1 代价函数的形式 在超分辨率图像重建问题中对重建图像和扩展 PSF 的求解都是非适定问题， 因此采用正则约束的方法来寻求稳定解。根据上文公式 (2-2) 中对此问题的数学 模型描述，可以分别对重建图像和包含了图像运动变形信息的具有运动平移特性 的扩展 PSF 施加正则约束，并利用拉格朗日乘子法，对代价函数求极小值从而实 现对重建图像和扩展 PSF 的同时求解。代价函数的形式如式 (3-1)， 14 E ( H , E1 , E2 ,..., En ) 1 n 2 D( Ek H Lk ) Q( H ) R( E1 , E2 ,..., En ) 2 k 1 （3-1） 且约束条件为式 (3-2) (3-3)。 （3-2） 0 a H ( x, y) b ,( x, y) 0 Ek , and ( u , w) （3-3） Ek (u, w) 1 在最小化代价函数 E ( H , E1 , E2 ,..., En ) 的同时，实现对高分辨率图像 H 和 n 帧 中扩展 PSF 的同时估计。Q( H ) 表示重建图像的正则约束项，R( E1 ,..., En ) 表示扩 展 PSF 的正则约束项。 与 是正则约束项的参数，控制着平滑程度。在约束条 件中， H ( x, y) 表示在点 ( x, y) 处像素的强度信息，同时强度变化的范围限制在 a 到 b 中。 表示高分辨率图像的空间域， 表示扩展 PSF 的空间域。 在式 (3-1) 中，等式右边的第一项表示对于高分辨率图像估计的近似程度， 而其它两项即分别对于重建图像和扩展 PSF 的正则约束项则是本文关注的重点， 因为它们决定了生成图像在保持纹理细节等方面的特性。同时本文的贡献也在于 选取适当的 Q( H ) 的形式，同时实现算法参数的自适应选择。 3.2 重建图像正则约束项 为了实现图像边缘保持的特性，在超分辨率图像重建的不同的框架下各种不 同的正则约束项被提出，其中，概率模型是常用的描述像素强度分布的方法。Pan 等人应用马尔可夫随机场（Markov Random Field）与 Gibbs 模型作为图像正则约 束项[20]，方法使用了一类具有边缘保持特性的 Gaussian Markov Random Field 函 数，这类凸函数具有对边缘施加较小平滑的特性。Chantas 等人提出了一种非稳 定的具有边缘保持特性的图像先验信息[21]，且具有分层的空间上自适应特性，这 种方法利用具有连续值的模型来模拟在不同方向上图像的局部不连续性，可以应 用于 MAP 和贝叶斯等多种算法框架，然而这种方法的计算复杂度却较高。 15 PDE 在最近几年被应用于图像处理领域，因为它具有抑制噪声的同时保持图 像边缘的特性。各向异性扩散偏微分方程最初被用在热传导领域，Perona 等人提 出将其用于解决图像处理领域的问题[22]，且方程如 (3-4) 所示。 H ( x, y, t ) div(c( H )H ) t （3-4） 在这一方程中， t 是引入的表示时间的参数，且第一幅图像用 t 0 表示。 H 表示重建图像的梯度， c 是扩散系数且具有边缘停止的特性，即在图像边缘处扩 散系数 c 的值应趋向于 0 以保持图像的细节，但对于非边缘的图像区域， c 的值 较大以抑制噪声。 根据变分法，对式 (3-4) 的求解等价于最小化能量函数 (3-5)，因此正则约 束项可以写为式 (3-6)，且 和 c 的关系可以如 (3-7) 式描述， min E ( H ) ( H )d （3-5） Q( H ) ( H )d （3-6） c( x) ( x) / x （3-7） H 本文中使用了 Lorentzian 的函数形式，函数如式 (3-8) (3-9)，且参数 K 设置 为 3。 c ( x, K ) （3-8） 2 2K x2 （3-9） x2 ( x, K ) log(1 ) 2K 16 可以在图 3.1 中看到 Lorentzian 的函数图像，图像具有尖峰且集中于 0 值附 近，这样相较与其它函数如图 3.1 中的 Tukey 函数，可以更好地保持图像的边缘 细节。同时有 Lorentzian 和 Tukey 作扩散函数的图像生成结果如图 3.2 中所示。 可以看出以 Lorentzian 作为扩散函数时，生成图像的清晰度更高，因此本文的算 法采用其作为重建图像正则约束项扩散系数的形式。 图3.1 重建图像正则约束项扩散系数函数图像 图3.2 不同正则约束项扩散系数对应重建图像 17 3.3 EVAM 约束 在本问题模型中，扩展 PSF 存在运动平移关系，且当成像过程各帧有不同方 向的运动模糊时，在不同通道观测图像中存在差异信息。为了保持各通道中 PSF 的一致性，同时避免 PSF 估计在观测图像对噪声的过拟合，一种通用的正则约束 项用来对扩展点源扩散函数 Ek 加以限制。Gürelli 等人提出了特征向量子空间方 法（EVAM）来求解 Ek ，将这种方法推广到多通道二维图像的形式，可用于多帧 图像的盲重建[23]。根据 EVAM 方法，可以得到式 (3-10) 所示的约束条件，其中 Yk 表示经过模糊和变形之后的图像，但不经过下采样操作，因此 Yk 和实际观测到的 低分辨率图像 Lk 满足关系 Lk D(Yk ) 。 （3-10） Yi E j Yj Ei 0,1 i j n 根据多分辨率近似（multiresolution approximation）理论[14]可以推导出如式 (3-11) 的约束条件 Dl (Yi ) Dl ( E j ) Dl (Yj ) Dl ( Ei ) 0,1 i j p （3-11） Chen 等人指出在考虑特定的噪声模型以及结合保真项对 Ek 的约束，可以进一步 通过最小二乘法得到 Ek 的正则化约束泛函[14]。 R( E1 ,..., En ) 1 Li D( E j ) Li D( Ei ) 2 1i j n 2 （3-12） 在本文的方法中，即利用了式 (3-12) 作为扩展 PSF 的正则约束项。 3.4 交替最小化 由以上两部分的对重建图像和扩展 PSF 的正则约束条件，最终可以得到超分 辨率图像盲重建中待优化的代价函数为式 (3-13)。 18 E ( H , E1 ,..., En ) 1 n D( Ek H ) Lk 2 k 1 2 1 ( H )d Li * D( E j ) Li * D( Ei ) 2 1i j n （3-13） 2 通过最小化这一代价函数，可以实现对高分辨率图像 H 和扩展 PSF Ek 的同 时估计。由于这一代价函数是非凸函数，因此通常的优化方法只能得到局部的最 优解。Šroubek 等人[10]指出在 Ek 固定时， E( H , E1 , E2 ,..., En ) 对于 H 是凸函数，而 H 固定时，代价函数关于 E( H , E1 , E2 ,..., En ) 是二次型的。因此在最小化的过程中，可 以应用交替最小化的方法。当初始值为 H 0 时交替最小化算法将在以下 (3-14) (3-15) 两步中交替进行，且重建图像的初始值 H 0 是某一帧低分辨率图像插值后 的结果。 Ekn arg min E ( H n 1 , Ek ) （3-14） H n arg min E ( H , Ekn ) （3-15） Ek H 3.5 无参考图像质量评价方法 有效的图像评价方法无论在研究还是实际应用中都有很重要的作用，但是图 像评价目前仍然是图像处理领域的研究瓶颈。图像质量评价的结果可以用来指导 图像处理算法的执行，例如指导算法选择参数以期达到更好的效果等。在超分辨 率图像重建领域尤其在盲重建领域，正则约束项的参数在很大程度上决定着生成 图像的平滑程度以及振铃效应，然而目前的超分辨率重建算法，参数还需要人工 进行设置，具有很大的随机性。因此本文的思路就是提出一种鲁棒的图像质量评 价算法来指导本文中超分辨率图像盲重建算法中重建图像正则约束项参数的自 适应选择，从而保持结果图像的纹理细节，即生成更清晰的图像。 在超分辨率图像重建的过程中会产生模糊和振铃效应，它们也成为影响图像 质量的两个重要因素，模糊是由于对观测图像的过平滑引起的，而振铃效应则是 由于量化以及对图像高频信息的截断引起的，因此这也是本文中图像质量评价方 法设计中考虑的两个主要因素。同时本文在设计图像质量评价方法时，也考虑人 19 眼视觉特性的影响，尝试了增加背景亮度对人眼视觉感受造成影响的因素，在下 文中将对提出的两种图像质量评价方法分别展开讨论。 3.5.1 考虑模糊度的图像质量评价方法 对于图像的模糊度的强度，可以由实际观测到的图像的特征来描述，边缘以 及空间细节的扩散效果强度可以用来定义图像的模糊度，即边缘扩散越明显，则 图像的模糊程度越大，因此对于图像的模糊度判断可以转换为对图像边缘扩散宽 度的判断。由于图像往往在水平和垂直方向具有相同的模糊程度，因此可以只考 虑水平方向边界的扩散作用，当然这种方法可以很容易地推广到垂直方向。因此 在本文中定义图像的模糊度的表达式为 (3-16)。 m blurmeasure n d i 1 j 1 m （3-16） ij l i 1 i 其中图像的高和宽分别为 m 和 n ，d ij 表示图像中第 i 行中第 j 条边的宽度，li 表示 第 i 行边的个数。我们用 Canny 算子来定位图像中每一行边缘的位置，且边缘的 宽度的定义如文献 [24] 中所述，即对于灰度图像按行得到图像的灰度值变化曲 线，以边缘所在位置为中心点，分别找到位于其左右的极值点，则两个极值点之 间的水平距离即认为是图像边缘的扩散宽度。这种边缘定义的方法如图 3.3 所示。 图3.3 图像边缘宽度定义 20 图 3.3 中曲线的横坐标为对应像素点的横坐标，纵坐标为像素值，A 点与 B 点是 图像边缘的位置，A1 点与 A2 点分别是 A 点两侧的极值点，B1 点与 B2 点分别 是 B 点两侧的极值点，d1 是 A1 点与 A2 点之间的水平距离，即边缘在 A 点处的 宽度，同理，d2 是边缘在 B 点处的宽度。对于同一场景，这种计算方法可以有效 的得到图像的模糊程度， blurmeasure 值越大，则模糊程度越高。 Marziliano 等人提出了无参考的模糊度评价方法[24]，本文在模糊度评价的基 础上，尝试考虑了图像背景亮度对视觉的影响等因素，并将其扩展使其对彩色图 像的模糊度评价亦有效，下面将具体描述本文中尝试的考虑图像背景亮度影响之 下的图像质量评价方法。 3.5.2 考虑视觉特性的图像质量评价方法 人的视觉研究表明，人眼的感知亮度与实际射入人眼的光强并非呈线性关系， 尤其背景的亮度会影响人眼对前景亮度的判断，图 3.4 便是一个可以说明这种现 象的例子，两图中心方块的灰度值相同，但人眼的感受却是白色背景下的中心方 块的灰度值较小，即亮度较低。 图3.4 背景亮度影响示例 由于人眼具有自动聚焦的功能，因此如果固定图像中的某一个像素为视觉焦 点，则它附近的区域可以定义为焦点区域，可以利用焦点区域中像素点与焦点的 距离作为该像素对视觉感知的权重，来表示图像中像素对视觉感知的影响的不 同，并用焦点区域函数表示。焦点区域函数可以用表示为式 (3-17)。 （3-17） : (, ) (, ) [0,1] 21 且满足在焦点(0,0)取值最大，定义域有限支撑，中心对称，沿各个方向单调递减 等约束条件。因为 Gaussian 函数符合上述条件，因此可以用来表示焦点区域函数。 焦点在 ( x0 , y0 ) 上的焦点区域函数表示为 ( x0 , y0 ) ，如式 (3-18) 所示。而背景亮度 可以通过焦点区域像素值的加权平均计算，如式 (3-19) 所示，其中 B( x0 , y0 ) 表 示对于 ( x0 , y0 ) 点的背景亮度， I ( x, y) 表示图像的像素信息。 （3-18） ( x0 , y0 ) ( x, y) ( x x0 , y y0 ) B( x0 , y0 ) I ( x, y) ( x0 , y0 ) ( x0 , y0 ) ( x, y )dxdy （3-19） ( x, y )dxdy 当计算出某一像素点所对应的背景亮度值 b 时，可以定义在这种背景亮度影 响下的符合视觉特性的主观亮度感知函数 b ( x) 如式 (3-20) 所示。其中 (b) 表 示视敏度函数，表示亮度辨别能力随光照强度的提升而提升。 ( x b) 表示亮度 变换函数，函数如图 3.5 所示，从直观上理解即为前景的实际感知亮度与前景和 背景的亮度差相关，当前景亮度大于背景时，前景的亮度会有一定程度提升，反 之背景较亮时，前景的感知亮度即灰度值则下降。 b ( x) (b) ( x b) （3-20） 22 图3.5 亮度变化函数图像 在超分辨率图像重建与图像模糊度的评价中，要使方法对彩色图像有效，需 要提取出彩色图像的亮度信息，即利用亮度信息得到相应的灰度图像，由于对灰 度图像的模糊度评价与对彩色图像的模糊度评价相一致，因此方法同样对彩色图 像有效。因此考虑视觉特性的模糊度判别方法过程如图 3.6 所示。 图3.6 考虑视觉特性的模糊度评价方法流程 3.5.3 考虑振铃效应的图像质量评价方法 如上文中所述，模糊与振铃效应是超分辨率图像重建问题中影响图像质量的 两个重要方面，因此它们也是本文中自适应超分辨率图像盲重建算法需要重点解 决的问题。因此需要提出能够针对这两种特征的鲁棒的图像质量评价方法，利用 图像的质量评价值来指导算法中正则约束项参数的自适应选择。其中对于模糊度 的评价方法，仍可以按照 3.5.1 中的算法执行，下面将着重描述对于振铃效应的 评价，以及如何得到最终完整的无参考图像质量评价方法。 23 如上文所述，振铃效应是由算法中量化以及对高频信息的截断引起的，在信 号处理中也常常成为 Gibbs 现象。同模糊度评价的思路类似，我们也可以通过特 定的计算来描述实际观测图像中与振铃效应有关的图像特征的强弱，以此来得到 对于图像振铃效应的评价值。本文中采用了图像中场景锐边附近的局部环状以及 波纹状的图像强度来描述振铃效应的强度。与参考文献 [24] 中提出的有参考图 像振铃效应评价矩阵方法相比，本文提出了一种无参考图像质量评价的方法，通 过计算局部环状图像的强度，来得到对于振铃效应的评价结果。本文中提出的振 铃效应评价方法的计算公式如式 (3-21)。 ringmeasure Num[ RingMask & ( PE AE )] TN （3-21） 首先利用 Canny 算子来找到图像中场景的边缘，然后利用这些边缘分别向水 平和垂直方向做膨胀操作，得到的膨胀后的区域即为可能的振铃效应在图像中存 在的区域，并定义与原图具有相同尺寸的矩阵 RingMask ，它构成一副二值图，且 膨胀区域所对应的矩阵中的元素为 1。然后，我们利用具有较小阈值的 Sobel 算子 来得到原图对应的另一幅二值图，这幅二值图中为 1 的部分即与原图中真实场景 的边缘以及振铃效应产生的边缘相对应，我们把它定义为扩展边缘，并用 PE 表 示。接下来，我们用具有较大阈值的 Sobel 算子对原图进行边缘提取操作，此时 得到的边缘仅包含原图中真实的场景边缘，并标志为 AE 。两幅边缘提取得到的 二值图中，边缘结果的差异即为可能的振铃效应产生的边缘，此时将用到之前计 算得到的 RingMask ，将它与两幅边缘二值图的差值结果作与运算，即得到真正的 振铃区域。为了计算振铃效应的强度，仅需要计算振铃效应区域对应的像素点的 个数与原图中总的像素点的个数 TN 的比值即可，式 (3-21) 中 Num[] 表示值为 1 的元素的个数。 3.5.4 完整的图像质量评价方法 有了上述对于模糊和振铃效应评价的基础，可以将两种方法的结果做线性组 合从而得到最终的图像质量评价方法，用公式 (3-22) 表述，其中 ringmeasure 前 的系数 15 是为了是无参考图像质量评价方法使得对于模糊度和振铃效应的评价 24 数值接近，其中 blurmeasure 和 ringmeasure 分别表示对于模糊度评价和振铃效应 评价的评价值，且评价值越小意味着图像的质量更佳。 Q blurmeasure 15 ringmeasure （3-22） 3.5.5 正则约束项参数自适应选择 超分辨率图像盲重建代价函数中重建图像正则约束项的参数 决定了重建 图像的平滑程度，较大的 会使图像过于平滑而变模糊，较小的 可以使得图像 的纹理细节得到保持，但是却会带来振铃效应且使噪声放大，因此超分辨率图像 盲重建中重建图像正则约束项的参数 对于生成图像的质量尤为重要。本文提出 的参数自适应的超分辨率图像盲重建方法，即希望实现算法对 的自适应选择， 使得生成图像在模糊度和振铃效应等方面最优，从而得到能够保持图像细节的高 质量的图像。 正如上文中所述有效的图像质量评价方法可以指导图像处理算法中参数的 选择，因此本文提出的针对图像模糊度和振铃效应的无参考图像质量评价方法可 以用于超分辨率图像盲重建的参数自适应选择，使得重建图像在模糊度和振铃效 应两方面较优。对于重建得到的图像，可以利用无参考图像评价方法得到数值评 价结果，根据已有的数值评价结果，寻优找到最优的图像评价值对应的正则约束 项参数，即实现了参数的自适应选择。因为图像质量评价值是正则约束项参数 的函数，可以应用函数优化的思路来选择最优的参数。 当参数 过小或过大时会使振铃效应和模糊程度明显，这些对于重建图像来 说都是不希望的，因此图像质量评价方法应给出较差的评价值，通过实际例子也 验证本文提出的图像质量评价方法当参数 过小或过大时得到的评价值也较大， 即对应图像质量较差，当选择适中的参数 时就可以得到较优的生成图像。在寻 优算法中，可以将评价值在阈值之内的波动忽略，使得图像质量评价值对于正则 约束项参数的函数形式较为简单，算法首先需要找到包含最优参数的凸区间，这 样可以利用非线性规划的方法得到最优的正则约束项参数 。寻找包含最优解的 区间的方法如下所述： a) 初始化 为 1， 变化的步长标志为 t 并初始化设置为 0.5。并首先用这些 参数生成结果图像，并得到评价值记为 Q 。 25 b) 下一个 值是当前 加上变化的步长 t ，也即 n1 n t ，且当前的图像 质量评价值为 Qn 1 。 c) 如果两次评价值 Qn 和 Qn 1 小于阈值，那么参数 变化的步长加倍，也即 t t 2 ，然后转到第二步，同时 Q 和 的下标减一，否则转到 d)或 e)。 d) 如果 Qn 1 大于 Qn 且 Qn 大于 Qn 1 ，那么优化区间的左边界为 n 2 而右边界为 n 1 。另一方面，当 Qn 1 大于 Qn 而 Qn 小于 Qn1 时，正则约束项参数 步长变为原 来的三倍，即 t t 3 ，然后转到第二步。 e) 如果 Qn 1 小于 Qn ，那么转到第二步。 寻找初始优化凸区间的算法可以用图 3.7 表示。 图3.7 寻找初始凸区间的算法流程 26 3.6 本章小结 本章详细介绍了超分辨率图像盲重建算法的各部分细节，包括代价函数的形 式，重建图像正则约束项的选择， PSF 的正则约束项的选择，交替最小化求解， 以及两种无参考图像质量评价方法的尝试，并结合针对模糊度和振铃效应的无参 考图像质量评价方法，提出了超分辨率图像盲重建自适应选择参数的方法。 27 第4章 自适应超分辨率图像盲重建实验及分析 第 3 章介绍了自适应超分辨率图像盲重建算法的详细内容，下面将以实例验 证方法的效果。 我们首先证明本文中图像质量评价方法分别针对模糊度和振铃效应的有效 性，之后，用实际的例子来验证文中的算法可以找到重建图像正则约束项参数并 生成高质量的图像。我们用两组例子来验证文中的方法有着比最大后验概率 （MAP）方法和插值方法更好的运行效果。第一组例子是基于从高分辨率图像经 过全局平移和模糊化之后生成的仿真低分辨率图像，来模拟实际观测到的低分辨 率图像。第二组例子则是从真实的视频中获取的一系列低分辨率图像。 在所有这些实验中，上文所述的交替最小化算法的迭代次数都设置为 1，同 时分辨率的增强系数设置为 4，且扩展点源扩散函数（PSF）的正则约束项参数设 置为 0.01。 4.1 图像质量评价实验 本文提出的无参考图像质量评价方法首先应用于仿真生成的图像，这些图像 经过中值滤波器作用具有不同程度的模糊度。中值滤波半径越大，生成图像越平 滑，模糊度评价值也应该越高。 本文中无参考图像质量评价方法针对图像模糊度的评价值随中值滤波半径大 小变化的曲线如图 4.1 所示。可以看到中值滤波半径从 1 变化到 10，模糊度评价 值也依次增大，即图像的模糊程度增大，说明本文提出的模糊度评价方法对图像 的模糊程度评价有效。 28 图4.1 模糊度评价值随中值滤波半径变化曲线 另一方面，我们用低通滤波器产生的仿真图像作为验证无参考图像质量评价 方法针对振铃效应评价的有效性的测试数据。当低通滤波器的截止频率变小时， 振铃效应会变得更加严重，对应的图像质量评价方法中振铃效应的评价值也越 大。振铃效应评价值与理想低通滤波器的截至频率的关系如图 4.2 所示，低通滤 波器的截止频率从 52 变化到 60，相应的图像的振铃效应评价值依次降低，即仿 真图像的振铃效应有所减弱，从而说明了无参考图像质量评价方法对图像振铃效 应评价的有效性。 29 图4.2 振铃效应评价值随低通滤波截止频率变化曲线 4.2 仿真数据实验 在说明了本文提出的无参考图像质量评价方法针对模糊度和振铃效应的有效 性之后，接下来以实例说明这种图像质量评价方法给出的评价值可以作为反馈信 息指导图像重建算法参数的自适应选择，即本文提出的自适应超分辨率图像盲重 建算法可以找到最优的重建图像正则约束项参数 ，从而生成高质量的重建图 像。 在实验中，我们使用原始尺寸为 204 256 的高分辨率日历图像来生成 25 幅低 分辨率图像作为算法的输入数据，原始高分辨率图像如图 4.3(a)所示，仿真生成 的低分辨率图像的尺寸为原图尺寸的 1/4 即 51 64 ，且如图 4.3(e)所示，重建图像 的分辨率提升系数为 4，这样可以得到与原高分辨率图像相同尺寸的重建图像， 便于对比。低分辨率图像之间具有全局平移运动关系，平移的参数分别为[0,0; 0,1; 0,2; 0,3; 0,4; 1,0; 1,1; 1,2; 1,3; 1,4; 2,0; 2,1; 2,2; 2,3; 2,4; 3,0; 3,1; 3,2; 3,3; 3,4; 4,0; 4,1; 4,2; 4,3; 4,4]，其中每一组数据的第一个分量表示在 x 方向上的位移，第二个 分量表示在 y 方向上的位移。在生成低分辨率图像的过程中扩展 PSF 的尺寸设置 为 12 12 ，这一支撑集可以容纳原 PSF 和运动平移。算法估计出的 PSF 如图 4.3(f) 所示，同时在生成低分辨率图像的时候添加 Gaussian 噪声。 30 为了说明自适应超分辨率图像盲重建算法可以选择优化的正则约束项参数， 可以将不同参数下对应的图像质量予以表示，本文中无参考图像质量评价方法分 别对具有不同重建图像正则约束项参数 下得到的重建图像给与数值评价，评价 值随重建图像正则约束项参数 变化的曲线如图 4.4 所示， 的第一个值设置为 0.75，并依次加 0.25。可以看到图像质量评价值随着 的变化虽然有一些波动， 但是具有近似的凸函数的变化趋势，因为当 较小时，图像的振铃效应明显，而 当 较大时，图像的模糊程度较大，对应的评价值都较大，其它情况下的图像实 验也验证了这一特性，因此可以利用优化的方法找到最优的 。从图 4.4 可以看 出最优的 在 1 到 5 之间，下面将说明本文的算法可以找到优化的 。 经过 10 次迭代操作后，本文中的最优区间选择算法给出的包含最优 的区 间的左右边界分别为 1.5 和 9，同时非线性规划方法得到的最终的优化参数 的 值为 3.2705，生成的重建图像如图 4.3(c)所示。为了对比说明本文中方法的有效 性，同样用 MAP 方法在相同的低分辨率图像作为输入的情况下生成高分辨率图 像，如图 4.3(d)所示，且第一帧图像应用双线性插值后的结果如图 4.3(b)所示。可 以看出插值后得到结果图像中的数字很难分辨，而 MAP 方法重建图像的清晰度 也不如本文中的自适应超分辨率图像盲重建方法的结果。 我们还给出了本文方法和 MAP 方法生成图像的数值评价结果对比，分别用 本文提出的无参考图像质量评价方法和峰值信噪比（PSNR）方法给出数值评价 值，且比较结果如表 4.1 所示。可以看出本文方法的重建结果图像的 PSNR 值较 大，且无参考图像质量评价方法数值较小，都说明了方法在结果图像的数值比较 上优于 MAP 方法。 表4.1 自适应超分辨率图像盲重建方法与MAP方法对比 性能比较 PSNR 无参考图像质量评价方法 本文方法 29.9548dB 3.0463 MAP 26.6860dB 5.0318 31 图4.3 评价值随正则项参数变化曲线 图4.4 仿真数据实验 32 4.3 真实数据实验 我们也同时用实际获得的视频中截取的低分辨率图像作为算法输入，来验证 本文中提出的自适应超分辨率图像盲重建算法的有效性。输入的图像为 16 幅从 实际数字视频中得到的低分辨率图像，它们的尺寸均为 51 64 ，且如图 4.5(c)所 示。本文自适应超分辨率图像盲重建算法生成的图像如图 4.5(a)所示，算法迭代 的次数为 7，且初始优化区间的左右边界分别为 2.5 和 4。为了进行对比，图 4.5(b) 中还给出了第一帧低分辨率图像做双线性插值后的结果。可以看出本文的自适应 超分辨率图像盲重建方法生成的图像较清晰度，但是图像中字符的边缘部分仍会 看到振铃效应产生的纹状图案，这是由于在对图像的正则化约束中不合理的强度 和方向所造成的。 图4.5 真实数据实验 33 第5章 应用程序设计 为了使超分辨率图像盲重建具有更好的实用性，因此在算法的基础上需要建 立具有良好交互性的图形用户界面。下文将对已有的超分辨率图像重建平台存在 的问题，以及在.NET 环境下建立新平台所解决的问题和实现方法进行描述。 5.1 已有平台 已有的超分辨率图像重建平台如图 5.1 所示 图5.1 原平台界面 原有平台运用 C++语言编写， MFC 编写图形用户界面。 34 5.2 问题分析 原有平台是在 VC6++的环境下用 MFC 编写，MFC 是应用程序框架中重要的 一员，它是一个大型的基础类库，将大量的 Windows API 函数封装起来，建立了 一些与用户交互的函数。MFC 的文档视图结构将数据处理与数据显示区分开来， 使得程序的结构更加清晰。然而 MFC 的封装较为复杂，且图形用户界面的编写 相比与当前应用广泛的 Windows Forms 具有较长的开发时间。 C#语言是适应.NET 环境提出的一种新的编程语言，它在 C++灵活性的基础 上也增加了安全性，例如增加了内置的字符串类型，不再使用全局变量，把关键 的系统和应用程序错误集成到了一种通用的异常模型中。同时.NET 运行环境可以 脱离特定的编程语言，允许在单个操作系统中运行由单一的语言所编写的程序， 它的框架的核心是其运行库的执行环境。在.NET 中编译分为两个阶段即把源代码 编译为 Microsoft 中间语言，以及公共语言运行时（CLR）把中间语言编译为平台 专用的代码。 Windows Forms 是.NET 框架所对应的 System.Windows.Forms 命名空间， Windows Forms 应用程序就是由 Windows 操作系统所执行的程序。它对于设计我 们所熟悉的 Windows 应用程序，具有图形用户界面设计简洁、美观等优势。 因此新平台的目标即为改善现有应用程序继续开发较为复杂的问题，提高应 用程序在不同语言和更高级平台上的适用性。从运行效率的角度考虑，算法的核 心代码仍用 C++编写，在新的平台中使用 C#语言，并采用 Windows Forms 作为 图形用户界面开发的方法，通过调用核心代码生成的动态链接库（dll）来实现超 分辨率图像盲重建的功能。 原有平台的界面设计存在着不合理的地方，例如菜单中某些方法选择并不能 和后台程序相对应，同时界面中方法的参数选择也存在冗余的问题。因此新的平 台要求界面中参数设置清晰、简便，精炼菜单项等的设计。同时还要添加原平台 中没有实现的功能，如对生成的重建图像的保存等。 5.3 实现方法 5.3.1 DLL 的生成和调用 从运行效率的角度考虑，可以将超分辨率图像重建算法的核心代码用 C++ 编写，并生成 dll，由 C#编写的图形界面程序调用，来实现算法的功能。 35 Visual C++支持三种 dll，分别为非 MFC dll（non-MFC dll） ，MFC 规则 dll（MFC regular dll） ，和 MFC 扩展 dll（MFC extended dll）。Non-MFC dll 不采用 MFC 类 库结构，其导出函数为标准的 C 接口，能被非 MFC 或 MFC 所编写的应用程序所 调用。MFC regular dll 包含一个继承自 CWinApp 的类，但其无消息循环。MFC extended dll 采用 MFC 的动态链接版本创建，它只能被用 MFC 类库所编写的应用 程序所调用。 因为在图像重建算法的实现过程中，使用了继承自 MFC 基础类库所编写的 MFC 图像类 CDib，因此核心代码不能生成 Win32 通用 dll。又因为图形用户界面 是用 C#语言编写，不涉及 MFC 应用程序，因此核心代码也不适宜生成 MFC extended dll。由以上这些分析，本文中所采取的方法为将核心代码编译生成 MFC regular dll 并由 C#编写的应用程序所调用。 MFC regular dll 分为静态链接到 MFC 的规则动态链接库和动态链接到 MFC 的规则动态链接库，该类 dll 中的导出函数同样可以被任意 Win32 应用程序使用， 包括基于 MFC 的应用程序。本文采用动态链接的方法，从动态链接库导出的函 数以如下语句开始： AFX_MANAGE_STATE(AfxGetStaticModuleState()) C#中调用 dll 的代码如下： [DllImport("SRcoredll.dll")] static extern void Execute(int Magfactor, int Lambda, int Sigma, int Iterationnum, int LRnum, char[] files) 5.3.2 C++与 Matlab 的混合编程 Matlab 提供了强大的数学计算功能，且它的实现中对数学运算进行了优化， 使得能够达到尽可能高效的计算。在超分辨率图像重建的实现中，也用到 Matlab 提供的数学函数，因此应用程序就涉及 Matlab 和 C++混合编程的问题。 Matlab 和 C++联编的方法通常有以下几种，可以将 Matlab 编写的.m 文件生 成 dll 和.h 文件，由 C++来调用。Matlab 自身的编译器可以将.m 文件转换为 C 或 C++源代码，从而可以嵌入到应用程序之中。同时，MATHworks 公司的 Matcom 36 也可以将 Matlab 的.m 文件转换成相同功能的 C++代码，此时仅需将其放置到 C++ 工程的适当位置即可，然而这种转换方法仅支持 C/C++数学库和 C/C++图形库中 提供的函数。本文的应用程序实现中采用了第一种方法，即由 C++调用.m 文件生 成的 dll。 5.4 平台结果 新超分辨率图像盲重建平台界面如图 5.2 所示，菜单中的选项可以实现低分 辨率图像的打开和重建结果图像的保存等功能，界面左侧的按钮实现的是平台的 主要功能，分别为低分辨率图像的载入、参数的设置、算法执行、重建结果显示、 插值结果显示、重建图像保存、刷新等，左侧的文本框显示的是加载的低分辨率 图像的文件名，中间区域是载入的低分辨率图像的显示，右侧的区域分别为重建 图像和插值结果图像的显示。同时在程序执行的过程中，程序也会给出当前的进 度提示，以及最终的运行时间显示。参数设置对话框中分别对分辨率提升系数， 重建图像正则约束项参数、扩展 PSF 正则约束项参数和算法迭代次数进行设置。 37 图5.2 新平台界面 38 第6章 总结与工作展望 6.1 总结 超分辨率图像重建是图像处理领域的热点问题之一，它可以应用于需要提高 图像视频质量的各个领域如视频监测、卫星图像等。超分辨率图像盲重建是一种 重要的算法框架，它可以在没有点源扩散函数（PSF）先验信息的情况下复原出 高分辨率的图像，更加符合应用的实际情况。然而目前的超分辨率图像盲重建算 法中正则约束项的参数需要人工调整，具有很大的随机性，重建图像正则约束项 的形式也需要进一步的改善以达到生成清晰图像的目的，同时可以用于指导图像 处理算法的图像质量评价方法也始终是研究的瓶颈。本文则重点就这些问题进行 尝试改进。 本文首先介绍了超分辨率图像重建算法的通用框架，然后分析了超分辨率图 像盲重建的方法思路及存在问题，据此提出了自适应超分辨率图像盲重建算法， 并具体介绍了算法中各部分的原理，同时也提出了无参考图像质量评价方法，用 于指导参数的自适应选择，本文还给出了算法实际运行的结果，并和传统的方法 进行比较以说明本文中方法的有效性。文章还具体介绍了超分辨率图像盲重建应 用程序设计的实现细节。 本文的主要贡献有以下 5 点： 1) 详细介绍了超分辨率图像重建算法常用的框架结构以及发展现状，常用 图像质量评价方法的比较等。 2) 提出了应用无参考图像质量评价方法实现自适应超分辨率图像盲重建的 思路。 3) 提出了一种鲁棒的针对模糊和振铃效应的无参考图像质量评价方法。 4) 应用 Lorentzian 函数作为重建图像正则约束项中扩散函数的形式，改善了 生成图像的细节信息。 5) 应用 Windows Forms 搭建了新的超分辨率图像盲重建平台。 实验结果表明，本文提出的自适应超分辨率图像盲重建算法可以根据无参考 图像质量评价方法给出的评价值，有效地选择最优的正则约束项参数，并尽可能 地保持图像的细节，生成清晰的高分辨率图像。 39 6.2 工作展望 6.2.1 实时性 由于基于多帧的超分辨率图像盲重建模型较为复杂，且在最小化代价函数并 求解方程从而估计重建图像和扩展 PSF 的过程中，需要较复杂的数学运算，因此 算法的时间复杂度较高，还不能实现实时地处理。因此实现实时性是超分辨率图 像重建研究的方向之一，也即需要设计高效的算法结构，减少计算量，以实现实 时快速地处理，生成高分辨率图像和视频，提高实际应用的价值。 6.2.2 基于单帧的方法 基于单帧图像的超分辨率图像重建，因为仅需输入单幅低分辨率图像作为输 入，因此可以适应于更多的应用场景。图像插值是传统的基于单帧的方法，但是 并没有实际提高图像的空间分辨率。基于单帧的方法的思路是利用图像内像素之 间的相关性，基于学习的方法则是常用的单帧超分辨率图像重建方法框架。Chen 等人提出了基于分形编解码的单帧超分辨率图像重建[14]，这种方法仅利用图像内 部的自相似信息，对分辨率的增强系数没有限制，且可以很好地保持图像的大尺 度边缘，对噪声有较好的鲁棒性。 40 插图索引 图 1.1 超分辨率图像重建的应用 ............................... 1 图 1.2 超分辨率图像重建方法分类 ............................. 4 图 2.1 系统观测模型各阶段图像 .............................. 11 图 2.2 自适应超分辨率图像盲重建算法流程框架 ................ 13 图 3.1 重建图像正则约束项扩散系数函数图像 .................. 17 图 3.2 不同正则约束项扩散系数对应重建图像 .................. 17 图 3.3 图像边缘宽度定义 .................................... 20 图 3.4 背景亮度影响示例 .................................... 21 图 3.5 亮度变化函数图像 .................................... 23 图 3.6 考虑视觉特性的模糊度评价方法流程 .................... 23 图 3.7 寻找初始凸区间的算法流程 ............................ 26 图 4.1 模糊度评价值随中值滤波半径变化曲线 .................. 29 图 4.2 振铃效应评价值随低通滤波截止频率变化曲线 ............ 30 图 4.3 评价值随正则项参数变化曲线 .......................... 32 图 4.4 仿真数据实验 ........................................ 32 图 4.5 真实数据实验 ........................................ 33 图 5.1 原平台界面 .......................................... 34 图 5.2 新平台界面 .......................................... 38 41 表格索引 表 1.1 超分辨率图像重建算法比较 ............................. 5 表 4.1 自适应超分辨率图像盲重建方法与 MAP 方法对比 .......... 31 42 参考文献 [1] D. Glasner, S. Bagon, and M. Irani, “Super-resolution from a single image,” International Conference on Computer Vision (ICCV), Oct. 2009. [2] J. D. Ouwerkerk, “Image super-resolution survey”, Image and Vision Computing, 24(1), pp.1039–1052, 2006. [3] R. Y. Tsai, and T. S. Huang, “Multiple frame image reconstruction and registration,” Advances in Computer Vision and Image Processing. JAI Press Inc., Greenwich, CT, pp. 317–339, 1984. [4] K. Sauer, and J. Allebach, “Iterative reconstruction of band-limited images from non-uniformly spaced samples,” IEEE Transactions on Circuits and Systems, CAS-34(12), pp.1497-1505, 1987. [5] M. Irani, and S. Peleg, “Motion analysis for image enhancement: resolution, occlusion, and transparency,” Journal of Visual Communication and Image Representation, 4, pp.324-335, 1997. [6] M. B. Ezra, Z. Lin, and B. Wilburn, “Super-resolution in the detector layout domain,” International Conference on Computer Vision (ICCV), 2007. [7] R. R. Schultz, and R. L. Stevenson, “A Bayesian approach to image expansion for improved definition,” IEEE Transactions on Image Processing, 3(3), pp.233-242, 1994. [8] R. C. Hardie, K. J. Barnard, and E.E. Armstrong, “Joint MAP registration and high-resolution image estimation using a sequence of undersampled images,” IEEE Transactions on Image Processing, 6, pp.1621-1633, 1997. [9] F. Li, X. Jia, and D. Fraser, “Universal HMT based super resolution for remote sensing images,” International Conference on Image Processing (ICIP), 2008. [10] F. Šroubek, and J. Flusser, “Multichannel blind iterative image restoration,” IEEE Transactions on Image Processing, 12(9), pp.1094-1106, 2003. [11] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE signal processing magazine, pp.21-36, 2003. [12] S. P. Kim and W. Y. Su, “Recursive high-resolution reconstruction of blurred multiframe images,” IEEE Transactions on Image Processing, 2, pp. 534–539, 1993. [13] A.L.D. Martin, M. R. P. Homem, and D. N. A. Mascarenhas, “Super Resolution Image Reconstruction Using The ICM Algorithm,” International Conference on Image Processing (ICIP), 2007. 43 [14] Y. Chen, Y. Luo, and D. Hu, “A general approach to blind image super-resolution using a PDE framework,” Visual Communications and Image Processing, pp.1819-1830, 2005. [15] M. Elad, and D. Datsenko, “Example-based regularization deployed to super-resolution reconstruction of a single image,” The Compueter Journal Advance Access, Apr.2007. [16] P. Chatterjee, V. P. Namboodiri, and S. Chaudhuri, “Super-resolution using sub-band constrained total variation,” The Lecture Notes in Computer Science, pp. 616-627, 2007. [17] U. Engelke, and H. J. Zepernick, “Perceptual-based quality metrics for image and video services: a survey,” Perceptual Quality Metric Design for Wireless Image and Video Communication, pp.25-48, 2007. [18] R. Barland, and A. Saadane. “Reference free quality metric for JEPG-2000 compressed images,” Information Technology Journal, pp.351-354, 2006. [19] Z. Wang, and F. Qi, “On ambiguities in super-resolution modeling,” IEEE Signal Processing Letters, Vol.11, No.8, Aug. 2004. [20] R. Pan, and S.J. Reeves, “Efficient Huber-markov edge-preserving image restoration,” IEEE Transactions on Image Processing, pp. 3728-3725, 2006. [21] G. K. Chantas, N. P. Galatsanos, and A. C. Likas, “Bayesian restoration using a new nonstationary edge-preserving image prior,” IEEE Transactions on Image Processing, Vol.15 No.10, pp.2987-2997, 2006. [22] P. Perona, and J. Malik, “Scale-space and edge detection using anisotropic diffusion,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp.629-639, 1990. [23] G. Harikumar, and Y. Bresler, “Perfect blind restoration of images blurred by multiple filters: theory and efficient algorithms,” IEEE Transactions on Image Processing, 8(2), pp.202-219, 1999. [24] P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi, “Perceptual blur and ringing metrics: application to JPEG2000,” Signal Processing: Image Communication, pp.163-172, 2004. 44 致 谢 衷心感谢我的指导老师罗予频教授，从大三下学期进入罗老师的实验室，是 他的谆谆教导帮助我在学习科研上不断进步，他的高屋建瓴的指导使我能够尽快 适应科研并明确方向，同时他也为我提供了很好的科研条件，使我能够顺利完成 毕业论文设计并在 CISP2010 发表论文。 衷心感谢陈远旭、陈安两位师兄，他们的前期工作对我的研究工作有很大的 启发，同时也感谢实验室的各位同学，他们在我的学习研究中都给了我无私的帮 助。 特别感谢我的父母和家人，他们在生活和学习上给了我很多支持，也感谢我 的同学，通过与他们的讨论使我在学业上不断提高。 45 外文资料的调研阅读报告 Super Resolution Image Reconstruction and Image Quality Assessment: A Survey Abstract Super resolution image reconstruction (SR) is a rapidly developed field these years in image processing area. The goal of SR is to restore a resulting image with high space resolution from a single frame or multiple frames of input images. In another aspect, image quality assessment is always a bottleneck not only in research but also in practical application. An effective and robust image quality assessment approach can be utilized as a criterion to direct image processing algorithm design; thus it also can be of great value in SR implementation. In this paper, we review the mathematical model of SR as well as diverse frameworks and approaches popular used in this area. Besides, we also give a brief survey about subjective and objective image quality assessment methods especially ones concerned about blurring and ringing effect of resulting images. In addition, we introduce a research direction in which no-reference image quality assessment methods can be employed in SR algorithm to promote the quality of resulting images. This paper is organized as follows: in the first section, we give an overview about SR and image quality assessment methods. Then we will classify diverse practical approaches in both areas and describe them in detail. At last, the relationship between SR and image quality assessment methods is introduced as a promising research direction. 1. Overview 1.1 Super resolution Image Reconstruction Image with high resolution means more detailed space and pixel intensity information in image which is of significant importance in many applications such as medical research and geological analysis, etc. As there is always a need to get high resolution images, the facilities to capture high quality images and videos develop rapidly. However, the quality of images can be significantly affected by the situation when capturing, such as the motion of camera, the too long distance between objects and cameras, etc. Besides, modifying the hardware always means huge costs, so promoting the quality of images through software after capturing can be meaningful. And this is the background of the super resolution image reconstruction (SR) 47 problem. The SR approaches can be applied in diverse areas such as the digital imaging, high quality digital printing, satellite imagery, medical diagnosis, etc. And fig.1 is two examples of SR application. The goal of super-resolution image reconstruction is to promote the space resolution of captured original images through software. The input is a single frame of low resolution image or a sequence of low resolution images, and the output is image with better quality especially with higher space resolution. From the angle of image processing, SR belongs to the image restoration area. And it has become a rapidly developed direction these years [1] [2]. In addition, SR problem can also be abstracted as a problem of signal reconstruction in signal processing area. After the first effective approach proposed by Tsai et al. [3] to solve this ill-posed problem, there are diverse methods to handle SR problem which can be classified according to the number of input images, the multiple frames based approach and single frame based approach. And there are surveys as in [1] [4] to describe this topic. The quality of output high resolution image through single frame based method is not much satisfying, since information a single image provides is limited. While in another aspect, it is possible for us to get several similar images of same specific objects in many situations, as in satellite images collecting. Accordingly, we can use 48 information from these low resolution images to construct a high resolution image which includes the details of the environment. Spatial domain and frequency domain are two major directions to address the SR problem in multiple frames based approach and the former one is more popular these years as it can be applied to more general situations with motion blur and noise in input images and has high performance in generating high quality images. However, frequency domain approach was first proposed as an effective approach in history [3] as cited in above sections. And some approaches [5] were come up with on the basis of it to handle the SR problems in situations with blurry and distorted images. The idea behind the frequency domain approaches is that we utilize aliasing property between discrete spectrum and continuous frequency domain as well as the translation property in Fourier transformation to estimate the frequency spectrum of high resolution image, thus restoring the high resolution image. Spatial domain approaches have wider application respectively as they can always have better performance in generating high quality images. Some popular approaches belonging to spatial ones are projection-onto-convex-sets (POCS) [6], iterative back-projection (IBP) [7], [8], maximum a posteriori estimation (MAP) [9], [10]. And we will give a deep look into these methods in the following sections. However, the deficiencies of these methods are in that they all need priori information of point spread function (PSF) which is always difficult in practical situation. PSF is a point to point function which reflects the procedure of blur and distortion in generating observed image from original scene. Therefore, to solve this problem, the blind super SR method [11] was proposed which combines the image registration, image restoration and PSF estimation into one framework. And blind super resolution image reconstruction methods have become a prospective direction in SR research [1]. In the following sections, we will also explain problems and approaches in respect to blind super resolution image reconstruction. 1.2 Image Quality Assessment Image quality assessment method has always been a bottleneck in image processing as it also relates to other research areas such as human vision. In another aspect, an effective and robust image quality assessment method is valuable not only in image processing research but also in practical application as it can provide a kind of criterion to direct the image processing algorithm design. In general, image quality assessment method can be classified into two categories, subjective approaches and objective approaches. In subjective approaches, Mean Opinion Score (MOS) is a popular method, which uses different levels of quality and randomly chooses a group of people to make their judgments. Obviously, this method can sometimes well reflect the true image quality which agrees with human vision. However, it also has 49 weak points such as complicated in operating, hard to repeat as well as high intensity of time. On the other hand, objective methods may have more significant practical values in application which implement a specific calculation with data among pixels of the image. This kind of methods is stable but can only address a specific factor which sometimes cannot reflect the real quality of image. What is more, the objective image quality assessment method can again be classified as full reference method, reduced reference method and no-reference method [12]. The former two require a reference image and use the difference between observed image and reference image as criterion of image quality. On the opposite, no-reference image quality assessment approaches use no reference images and only employ pixels information of the observed image to generate a criterion thus can be suited in more situations. Some popular full reference approaches are mean square error (MSE), peak signal to noise ratio (PSNR), intense signal to noise ratio (ISNR) etc. However, they are not in accord with actual human vision sometimes. To solve this problem, someone define their own type of calculation according to some specific property of image, and [13] is a survey about no reference image quality assessment methods. Blur and ringing effect are two main factors generated in the procedure of image processing algorithm, which will significantly affect image quality. Blur is caused by over smooth in observed image and ringing effect is caused by the quantization or truncation of the high frequency coefficients [13]. Therefore, these factors are what we pay special attention to in the application of SR and will be expressed explicitly in following sections. 2. Algorithm 2.1 Observation Model Super resolution image reconstruction can be seen as the opposite procedure of observation model in imaging system. The observed low resolution images are generated through the process that original high resolution images are affected from effects of blur, distortion, down-sampling as well as system noise. This process can be represented by the mathematical formula as in (1) （1） Lk D[M k ( Bk H )] Nk Lk is the captured k th frame low resolution image which has the size of m n . H is the corresponding high resolution image, and it will have the size of qm qn when the resolution enhancement factor is q . Bk is the PSF of the k th frame 50 which convolves with the high resolution image and will determine the type of blur. In addition, M k is motion and distortion operator, D is the down-sampling operator, and N k is the system noise. With this mathematical model, the super resolution image reconstruction problem can be stated as solving (1) to generate high resolution image H , while estimating the PSF Bk and system noise N k , in the situation given low resolution images Lk and down-sampling operator D . 2.2 MAP MAP is a popular applied spatial domain approach, the idea of which is to make the post probability of estimated high resolution image maximum given low resolution image. Hardie et al. proposed a maximum a posteriori framework for jointly estimating image registration parameters and high resolution image [10]. In their method, Gibbs distribution is utilized as the priori pixel intensity distribution information and the registration parameters are iteratively updated along with the high resolution image in a cyclic coordinate descent optimization procedure. However, the smoothness parameter is chosen empirically and this method can only apply to situation of global translational shift. Li et al. proposed a method that combines MAP with wavelet theory [14], since the probability density function of the wavelet coefficient can be well characterized by a mixed Gaussian probability density function. The Hidden Markov Tree theory in the wavelet domain is used to set up a prior model for reconstructing super resolution images from a sequence of warped, blurred, sub-sampled and contaminated low resolution images. It solves the problems in classical MAP-Huber that it can only perform well for imaging procedures without the Gaussian blur kernel. Another modified MAP approach was proposed by Martins et al. which is based on Markov random fields and employs Potts-Strauss model as the priori probability density function of the actual image [15]. The method aligns all the low resolution observations over a high resolution grid and then improves the resolution through the Iterated Conditional Modes. 2.3 POCS Another main spatial domain approach is POCS of which the idea is to define a convex constraint set as the solution space of high resolution image, and to get the final solution through calculating the intersection part of diverse solution spaces. POCS method can be combined with other methods such as MAP. We can first get a solution space using POCS and then employs MAP in this space to get estimation of high resolution images. 51 2.4 IBP The idea behind IBP approach is to utilize the estimated high resolution image after each iteration to generate low resolution image through observation model. The difference between these generated low resolution images and observed images can be used to modify the estimation in next iteration. Some approaches have been proposed on the foundation of IBP framework. Ezra et al. proposed Penrose Pixels which explicitly models the detector’s pixel layout [8]. The author presents a new variant of the well known error back-projection super resolution algorithm that makes use of the exact detector model in its back projection operator for better accuracy. This method significantly enhances the capability of reconstruction based super resolution; however, some regular noise may be generated in the procedure of SR algorithm. 2.5 Blind Super Resolution Image Reconstruction Algorithm As explained above, the deficiency of classical spatial domain methods is that they all need priori information of PSF which is always difficult in practical situation. Therefore, to solve this problem, the blind super SR method [11] was proposed which combines the image registration, image restoration and PSF estimation into one framework. These years, partial differential function (PDE) are popular used in image processing fields and it has been used as a kind of frame work in blind super resolution image reconstruction algorithm as it can preserve the edge of image while suppressing noise. The method in [11] uses PDE as the regularization term of the high resolution image. However, the parameter of the regularization term which is significant in determining the smoothness of the image should be adjusted by hand and thus increase the indefinability in generating high quality images with property of preserving detailed textures. Chen et al. also proposed a PDE based blind SR approach which uses eigenvector-based (EVAM) as the regularization term of extended PSF [16]. However, it does not solve the problem of empirical search of parameter, either. Chatterjee et al. proposed a sub-band constrained total variation method which uses spectral decomposition followed by sub-band correlation between the reconstructed and the given LR image, which can ensure the resulting image to have better texture and edge preserving properties [17]. Blind super resolution image reconstruction is a high dimension ill-posed problem. For achieving a stable solution, we utilize the regularization approach to solve this problem, which is to employ specific type of regularization term to constrain the high resolution image H as well as PSF Bk separately. If we only consider the motion of global translation, and assume that the PSF of the imaging system is constant when translation, then we could define an extended PSF Ek , which incorporates both convolution with blur factor as well as motion and distortion 52 operator into one operation which is a center translational blur function convoluted with the high resolution image. Accordingly, the mathematical model can be rewritten as (2). （2） Lk D( Ek H ) Nk As modeled by formula (2), to calculate the result of high resolution image as well as extended PSF Besides, we use Lagrange multiplier framework to resolve this problem by minimizing the energy function denoted as in (3). E ( H , E1 , E2 ,..., En ) 1 n 2 D( Ek H Lk ) Q( H ) R( E1 , E2 ,..., En ) 2 k 1 （3） And the constraint condition is expressed as (4) and (5). （4） 0 a H ( x, y) b ,( x, y) 0 Ek , and ( u , w) （5） Ek (u, w) 1 While in the procedure of minimizing the energy function E ( H , E1 , E2 ,..., En ) we estimate the high resolution image and extended PSF in n frames respectively. Q( H ) is the regularization term of the high resolution image while R( E1 ,..., En ) is the regularization term of extended PSF. and are parameters of each regularization term separately which control the degree of the regularization and the smooth of each term. In the constraint condition, H ( x, y) stands for the intensity of the pixel in coordinate ( x, y) and it is limited in the range of a to b . is the space domain of the high resolution image. In (5), it means that the extended PSF is a positive function and it satisfies the condition that the sum of each PSF is equal to one. Here stands for the space domain of extended PSF. The first term of the right side in equation (3) determines the difference between generated low resolution image from estimating high resolution image and the actually observed low resolution image, which reflects the approximation degree of high resolution image estimation. And the two regularization terms on the right side 53 of the equation (3) are what we focus on in this paper as they will determine the preservation of detailed texture in image. So the key task in solving this problem to get resulting high resolution image is to choose appropriate type of Q( H ) and R( E1 ,..., En ) as well as find an approach to adaptive choose the parameters. To sum up all the super resolution image reconstruction methods expressed above, we draw a graph to describe the relationship between each approach in fig.2. 2.6 Regularization Term of High Resolution Image To achieve the edge-preserving performance, there are diverse approaches related to regularization term under different frameworks of super resolution image reconstruction algorithm. As to image regularization term Q( H ) stated in above sections, probability theory is popular in describing the distribution of the pixel intensity which can be utilized to regularize the behavior of the high resolution image. Pan et al. [18] employed the Markov Random Field and Gibbs Model as the regularization term. The author uses a class of edge-preserving Gaussian Markov random field (GMRF) functions that are convex and have nonquadratic regions that impose less smoothing on edges. Chantas et al. proposed a new nonstationary edge-preserving image prior which is hierarchical spatially adaptive [19]. This approach models the local image discontinuities in different directions with a model which is continuous valued. Thus, it preserves edges and generalizes the binary line process and can be employed in the framework of MAP and Bayesian. However, the computation of this regularization approach is intensive. PDE is used in image processing area these years as it can preserve the edge of the image while suppressing noise. Besides, PDE can well be suitable in blind super resolution image reconstruction. Anisotropic spread PDE which is widely used in 54 heat conduction was proposed by Perona et al. [20] to solve image processing problem and the equation used is (6). （6） H ( x, y, t ) div(c( H )H ) t In this equation, t is an introduced parameter representing time, and the first image is represented by t 0 . H is the grads of the image and c is a spread coefficient which has an edge stop effect that is when it comes to the edge of the image, the value of c tends to zero, to preserve the details, but when it comes to non-edge area, the value of c is larger to suppress the noise. According to the variation method, the regularization term can be written as in (7) of which the relationship between and c is described in (8). （7） Q( H ) ( H )d （8） c( x) ( x) / x Chen et al. [16] utilized the function type Tukey as the implementation of c . Even though it is robust, the problem is that the detailed texture of the image cannot be preserved quite well. To solve this problem we can employ the function type Lorentzian as in (9) and (10). The horizontal ordinate of peak value of this function is located in the range around zero and thus can preserve the details as far as possible. c ( x, K ) （9） 2 2K x2 ( x, K ) log(1 （10） x2 ) 2K We can also summarize diverse choices of image regularization term in different SR frameworks as in fig.3. 55 3. No Reference Image Quality Assessment As explained in above sections, reference free image quality assessment method has wide application in image processing research. In special, as to super resolution image reconstruction area, blurring and ringing effect are two main factors that affect quality of resulting image seriously. There are many assessment approaches which focus on these properties in literature. Barland et al. proposed a reference free quality metric for JPEG-2000 compressed images that pay attention to image distortions such as blurring and ringing [13]. The blurring effect is characterized by an increase of the spread of edges and spatial details. Therefore, the author defines blurring artifact measure as a ratio of edge activity to middle/low frequencies areas. On the other hand, ringing effect is caused by the quantization or truncation of the high frequency coefficients known as the Gibbs phenomenon. And the intensity of local haloes and rings near sharp object edges in the picture can utilized as the criterion of ringing effect. Marziliano et al. also proposed a no reference blur metric based on analysis of edges and adjacent regions in an image [21]. The idea of this metric is to measure blur through measuring the spread of edges. This method has low computational complexity and has no assumptions on the type of content or the particular blurring. However, this method is only effective when measuring images with similar contents. We can also look at the problem on measure of blur in an opposite direction, which uses sharpness measurement of image. Caviedes et al. proposed a local edge kurtosis based no-reference sharpness metric which has a characteristic of content independent [22]. The author creates an edge profile by detecting edge pixels. He also encloses edge with blocks and compute sharpness using Kurtosis of DCT for 56 each block. Even though this method is robust in combination of spatial and frequency domain information, when noise, blockiness, or other artifacts become dominant, the metric alone cannot be used to predict quality well. 4. Relationship between SR and Image Quality Assessment As was stated in above sections, the result of image quality assessment can be utilized to direct the image processing algorithm such as determining parameter of the algorithm to achieve better performance. In super resolution image reconstruction area, especially in the field of blind super resolution image reconstruction, the parameter of the regularization term is significant in determining the smoothness and the ringing effect of resulting image. Therefore, it is a promising direction for us to do research on coming up with a robust image quality assessment method to help adaptively choose parameters of the SR algorithm and preserve detailed texture in resulting image. Reference [1] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE signal processing magazine, 2003. [2] S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, “Advances and chanllenges in super-resolution,” International Journal of Imaging Systems and Technology, 14, pp.47-57, 2004. [3] R. Y. Tsai, and T. S. Huang, “Multiple frame image reconstruction and registration,” Advances in Computer Vision and Image Processing. JAI Press Inc., Greenwich, CT, pp. 317–339, 1984. [4] J. D. Ouwerkerk, “Image super-resolution survey”, Image and Vision Computing, 24(1), pp.1039–1052, 2006. [5] S. P. Kim and W. Y. Su, “Recursive high-resolution reconstruction of blurred multiframe images,” IEEE Transactions on Image Processing, 2, pp. 534–539, 1993. [6] K. Sauer, and J. Allebach, “Iterative reconstruction of band-limited images from non-uniformly spaced samples,” IEEE Transactions on Circuits and Systems, CAS-34(12), pp.1497-1505, 1987. [7] M. Irani, and S. Peleg, “Motion analysis for image enhancement: resolution, occlusion, and transparency,” Journal of Visual Communication and Image Representation, 4, pp.324-335, 1997. 57 [8] M. B. Ezra, Z. Lin, and B. Wilburn, “Super-resolution in the detector layout domain,” International Conference on Computer Vision (ICCV), 2007. [9] R. R. Schultz, and R. L. Stevenson, “A Bayesian approach to image expansion for improved definition,” IEEE Transactions on Image Processing, 3(3), pp.233-242, 1994. [10] R. C. Hardie, K. J. Barnard, and E.E. Armstrong, “Joint MAP registration and high-resolution image estimation using a sequence of undersampled images,” IEEE Transactions on Image Processing, 6, pp.1621-1633, 1997. [11] F. Šroubek, and J. Flusser, “Multichannel blind iterative image restoration,” IEEE Transactions on Image Processing, 12(9), pp.1094-1106, 2003. [12] U. Engelke, and H. J. Zepernick, “Perceptual-based quality metrics for image and video services: a survey,” Perceptual Quality Metric Design for Wireless Image and Video Communication, pp.25-48, 2007. [13] R. Barland, and A. Saadane. “Reference free quality metric for JEPG-2000 compressed images,” Information Technology Journal, pp.351-354, 2006. [14] F. Li, X. Jia, and D. Fraser, “Universal HMT based super resolution for remote sensing images,” International Conference on Image Processing (ICIP), 2008. [15] A.L.D. Martin, M. R. P. Homem, and D. N. A. Mascarenhas, “Super Resolution Image Reconstruction Using The ICM Algorithm,” International Conference on Image Processing (ICIP), 2007. [16] Y. Chen, Y. Luo, and D. Hu, “A general approach to blind image super-resolution using a PDE framework,” Visual Communications and Image Processing, pp.1819-1830, 2005. [17] P. Chatterjee, V. P. Namboodiri, and S. Chaudhuri, “Super-resolution using sub-band constrained total variation,” Lecture Notes in Computer Science, 616-627. [18] R. Pan, and S.J. Reeves, “Efficient Huber-markov edge-preserving image restoration,” IEEE Transactions on Image Processing, pp. 3728-3725, 2006. [19] G. K. Chantas, N. P. Galatsanos, and A. C. Likas, “Bayesian restoration using a new nonstationary edge-preserving image prior,” IEEE Transactions on Image Processing, Vol.15 No.10, pp.2987-2997, 2006. [20] P. Perona, and J. Malik, “Scale-space and edge detection using anisotropic diffusion,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp.629-639, 1990 . [21] P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi, “Perceptual blur and ringing metrics: application to JPEG2000,” Signal Processing: Image Communication, pp.163-172,2004. [22] J. Caviedes, and S. Gurbuz, “No-reference sharpness metric based on local edge kurtosis,” International Conference on Image Processing (ICIP), 2002. 58 在学期间参加课题的研究成果 [1] Yunfei Bai, Jing Hu, Yupin Luo. “Self-adaptive blind super-resolution image reconstruction.” 2010 3rd International Congress on Image and Signal Processing (CISP'10).（EI Compendex 和 ISTP 源刊，已录用） 59
