图像视觉效果处理是当前数字图像处理领域的研究热点之一,基于色彩迁移的图像视觉效果处理技术近年来得到越来越多专家学者的重视。色彩迁移技术旨在保持源图像自身形状结构的前提下,通过改变其颜色信息以达到与另一幅参考图像色调相一致的效果[1]。该技术应用十分广泛,如X光片彩色化、黑白电影彩色化[2]、褪色古建筑类图像的原始效果复原、古籍字画类图像的色彩还原等领域。可见,色彩迁移及相关领域的研究工作具有较大市场需求和发展前景。
对于全局图像颜色迁移,较为经典的算法是2001年Reinhard等在Ruderman等[3]的研究基础上首次提出的一种迁移算法[4],根据一组以参考图像颜色特征为基础的迁移公式,对源图像进行整体色彩线性变换。该算法保证了源图像与参考图像具有相同的均值与标准差,从而保证了二者色彩基调的相似性。赵国英等[5]也提出了基于全局图像颜色迁移的算法,通过幂变换和模变换对源图像的峰度以及斜度的值进行调整,从而达到全局颜色变换的效果。胡国飞等[6]基于Reinhard法提出改进,通过经典统计学方法提取参考图像颜色信息和源图像形状信息,从而合成新的彩色结果图像。滕升华等[7]分析研究了彩色化由局部向全局扩展的本质,提出了一种求解拉普拉斯方程从而实现图像间颜色迁移的方法。余志俊[8]在Reinhard算法基础上加入了色度信息的处理,增强了图像的对比度,较好地实现了对图像动态范围的压缩,从而达到了重塑图像的效果。但全局颜色迁移法只能针对色彩基调整体相似的图像进行变换,对色调丰富图像的处理效果不尽理想。为解决这一问题,Welsh提出一种自适应色彩迁移算法,首先将源图像颜色模式转换至灰度模式,然后对源图像进行亮度重映射,使得其亮度分布与参考图像的亮度保持一致,之后在参考图像中选取若干像素作为样本块,逐行扫描灰度源图像每个像素,通过亮度以及邻域统计的方法使之与选取的样本相比对,从而选择最优的匹配样本,最后,将与映射后源图像亮度、邻域相匹配的参考图像颜色值传输到相应的像素,得到最终的结果[9, 10]。钟高锋[11, 12]在Welsh算法基础上提出一种基于傅立叶变换的灰度图像色彩迁移算法,在频域上计算相关的亮度权值,使色彩迁移的效果得到一定的提升;并提出一种基于权值量化的快速灰度图像色彩迁移算法,在保证算法效果的基础上减少匹配次数,通过对权值进行量化分段及对样本点的搜索,使处理的效率得到了提高。Anat等[13]在Welsh算法基础上提出了基于用户指导的灰度图像着色算法,对于阶调复杂图像虽然能够取得比较理想的效果,但是需要额外的大量人机交互,加重了用户的负担且限制了该算法的应用。向世明等[14]提出了一种基于控向金字塔的颜色迁移算法,通过参考图像和源图像对应的子带信息实现相关统计信息的迁移,从而完成图像间的颜色迁移。刘勇[15]基于Welsh算法提出了自适应搜索策略上的改进。王泽文等[16]提出了基于p-Laplace方程的图像彩色化方法。虽然Welsh及其改进算法均在Reinhard全局颜色传输算法上做出一定改进,但仅通过源图像与参考图像间的灰度信息进行像素匹配,对灰度差异不明显或灰度范围重叠的图像易出现色彩误传等问题,彩色化效果不尽理想。
本文提出一种基于分通道自适应匹配的梯度保持色彩迁移算法,利用序列不相关性理论,消除了单一目标区域受多通道的影响;利用不同属性图像的分通道自适应像素匹配法,完成了灰度差异小或灰度范围重叠的彩色源图像准确分级;通过保持梯度的色彩迁移改进算法,实现了阶调过渡自然细腻、色彩细节精确再现的效果。并采用改进的结构相似度指数法、峰值信噪比法对实验效果进行评价,数值测试结果验证了本文改进色彩迁移算法相对于经典Welsh与Reinhard算法的优势。
1 算法原理 1.1 基于分通道思想的自适应像素匹配法经典Welsh算法中仅通过源图像与参考图像间灰度值进行像素匹配,针对灰度差异不明显或灰度范围重叠的图像易出现色彩误传等问题,本文提出一种基于分通道思想的自适应像素匹配法,引入色度a、b通道,对于整体灰度值相近的图像,采用待处理区域与背景区域色度均值差异最大的通道与参考图像对应通道进行自适应像素匹配,具体如下:
(1) 首先计算源图像待处理区域与背景区域的L、a、b三通道均值并作差,选择差值最大的通道对源图像与参考图像进行色貌属性映射,以保证目标图像的所选通道属性分布与参考图像相同。计算并记录映射前源图像所有像素的所选通道均值μsT及标准差σsT,参考图像所有像素的所选通道均值μrT及标准差σrT。设映射后源图像每个像素的对应所选通道值为T′,映射前源图像每个像素的对应所选通道值为T,则映射关系如式(1):
(1) |
式中, T∈{L、a、b}。之后循环上述操作,分别记录下所有映射后源图像像素的所选通道值,并将其转化为矩阵格式备用。
(2) 设所选通道值映射后源图像与参考图像每组像素的最小对应通道差为y,映射后源图像每个像素对应通道值为T′,参考图像像素对应通道矩阵为T1(:),则:
(2) |
之后重复上述操作,记录每组最小通道差值y在参考图像中对应像素的通道值,并将其转化为矩阵格式,索引其在参考图像中的位置信息并记录。
1.2 保持梯度的色彩迁移改进算法在经典Reinhard色彩迁移算法中,通过计算参考图像(提供色彩信息)与源图像(提供轮廓信息)在CIELAB空间下的颜色三通道的均值和标准差,采用一组线性变换,使目标图像(迁移结果图像)的统计量跟参考图像的统计量相一致,从而达到视觉上目标图像具有参考图像色调的效果,实现图像之间的色彩迁移[17]。
(3) |
(4) |
(5) |
设源图像与参考图像的三通道对应均值分别为μsL、μsa、μsb、μrL、μra、μrb,三通道对应标准偏差值分别为σsL、σsa、σsb、σrL、σra、σrb,并定义源图像与目标图像三通道对应L、a、b值分别为Ls、as、bs、L′、a′、b′。
由上述模型可知,经典Reinhard算法仅考虑目标区域色貌信息,但一幅图像不仅由色貌组成,还包含梯度信息,梯度可作为阶调过渡效果的量化衡量标准之一。在图像中阶调波动剧烈的区域,梯度值相对较大;反之阶调波动平缓的区域,梯度值相对较小。因此梯度可视为图像中相邻像素的阶调差值,而并非独立像素信息。若图像中某对相邻像素在某种变换前后增量相同,则可认为该对像素的梯度信息在该类型变换前后保持不变,所反映细节信息得到完整的保留,本文将式(3)、(4)、(5)两边作差分,结果如下:
(6) |
(7) |
(8) |
由式(6)、(7)、(8)可知,图像的梯度信息只与比值
本文基于上述结论对经典Reinhard算法进行改进,考虑引入梯度因子,并同参考图像与源图像的标准差比值做加权运算,以此作为色彩迁移的比例系数,得到的目标图像便同时兼顾了梯度与色彩信息。
针对2.1节所得像素匹配结果进行如式(9)、(10)、(11)所示色彩迁移变换:
(9) |
(10) |
(11) |
考虑两种极限情况,当仅关心图像梯度信息的完整性时,缩放比例系数为1;当仅关心图像的色彩信息时,缩放比例系数为σr/σs。因此最终的缩放比例系数应在1和σr/σs之间,由此可得加权系数λ1和λ2∈[0, 1]且λ1+λ2=1,二者精确数值需针对不同图像类型通过实验确定。
2 实验效果及分析为体现算法适用性,本文分别采用灰阶过渡细腻类、局部高光属性类、全局高反差类图像作为源图像,对经典Reinhard算法、经典Welsh算法与本文基于分通道自适应匹配的梯度保持色彩迁移算法进行效果比对,所用图像均来源于USI-SIPI image database。
2.1 对灰阶过渡细腻类源图像的处理分析如图 1所示,该组实验旨在对图(a)的灰阶过渡细腻类源图像实施基于参考图像的色彩迁移操作,采用图(b)色调为参考色彩,分别使用经典Reinhard法、经典Welsh法、基于分通道自适应匹配的梯度保持色彩迁移算法进行处理,结果分别如图(c)、(d)、(e)所示。
对比图 1(c)、(d)、(e)效果可知,经典Reinhard法基于参考图像(b)对源图像(a)实施全局上色操作,使得除山体外的背景区域色彩过深,且背景区域出现较多噪声干扰,上色效果不佳;经典Welsh算法由于采用灰通道自适应改进,相对Reinhard法效果有所改善,但背景区域仍出现较多颜色误传。相比之下,本文改进算法对目标山体与背景浓雾的不同阶调分别实施不同程度的自适应上色处理,且由于梯度因子的引入,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
2.2 对局部高光属性类源图像的处理分析如图 2所示,该组实验旨在对图(a)的局部高光属性类源图像实施基于参考图像的色彩迁移操作,采用图(b)色调为参考色彩,分别使用经典Reinhard法、经典Welsh法、基于分通道自适应匹配的梯度保持色彩迁移算法进行处理,结果分别如图 2(c)、(d)、(e)所示。
对比图 2(c)、(d)、(e)效果可知,经典Reinhard法基于参考图像(b)对源图像(a)实施全局上色操作,使得除天空外的植物区域上染蓝色,图像明显失真,迁移效果不佳;经典Welsh算法由于采用灰通道自适应改进,相对Reinhard法效果有所改善,但天空、云朵区域上色效果不佳,且阳光及云朵中的部分高光区域出现胡椒盐噪声。相比之下,本文改进算法对阳光、植物,天空、云朵的不同阶调分别实施不同程度的自适应上色处理,且由于梯度因子的引入,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
2.3 全局高反差类源图像的处理分析如图 3所示,该组实验旨在对图(a)的全局高反差类源图像实施基于参考图像的色彩迁移操作,采用图(b)色调为参考色彩,分别使用经典Reinhard法、经典Welsh法、基于分通道自适应匹配的梯度保持色彩迁移算法进行处理,结果分别如图(c)、(d)、(e)所示。
对比图 3(c)、(d)、(e)效果可知,经典Reinhard法基于参考图像(b)对源图像(a)实施全局上色操作,使得天空与建筑区域同等程度上染蓝色,图像明显失真,迁移效果不佳;经典Welsh算法由于采用灰通道自适应改进,相对Reinhard法效果有所改善,对建筑区域迁移效果较好,但天空区域整体出现色彩误传,且局部产生噪声。相比之下,本文改进算法对天空、建筑的不同阶调分别实施不同程度的自适应上色处理,且由于梯度因子的引入,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
3 算法评价采用主、客观评价对经典Reinhard算法、经典Welsh算法与本文基于分通道自适应匹配的梯度保持色彩迁移算法的处理效果进行评价。
3.1 主观评价(1) 对比图 1(c)、1(d)、1(e)可知,经典Reinhard法所得迁移结果中除山体外的背景区域色彩过深,且背景区域出现较多噪声干扰,上色效果不佳;经典Welsh算法相对Reinhard法效果有所改善,对于不同目标区域的色彩分配准确度有较大提升,但背景区域仍出现较多颜色误传。相比之下,本文改进算法对目标山体与背景浓雾的不同阶调分别实施不同程度的自适应上色处理,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
(2) 对比图 2(c)、2(d)、2(e)可知,经典Reinhard法所得迁移结果中除天空外的植物区域亦呈现蓝色,图像明显失真,迁移效果不佳;经典Welsh算法相对Reinhard法效果有所改善,对于不同目标区域的色彩分配准确度有较大提升,但天空、云朵区域上色效果不佳,且阳光及云朵中的部分高光区域出现胡椒盐噪声。相比之下,本文改进算法对阳光、植物,天空、云朵的不同阶调分别实施不同程度的自适应上色处理,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
(3) 对比图 3(c)、3(d)、3(e)可知,经典Reinhard法所得迁移效果中天空与建筑区域同等程度渲染蓝色,图像明显失真,迁移效果不佳;经典Welsh算法相对Reinhard法效果有所改善,对建筑区域迁移效果较好,但背景天空区域整体出现色彩误传,且局部产生噪声。相比之下,本文改进算法对天空、建筑的不同阶调分别实施不同程度的自适应上色处理,整幅图像色彩过渡自然,未出现噪声影响,迁移效果最佳。
3.2 客观评价本文采用改进的结构相似度指数、峰值信噪比两种评价算法对经典Reinhard、Welsh与本文算法的色彩迁移效果进行评价。
3.2.1 改进结构相似度指数评价算法色彩迁移要求所得目标图像具有与参考图像非常相近的色调分布,而传统的结构相似度指数(SSIM)法仅适用于衡量两幅灰度图像的相似性,因此本文引入色度a、b通道,采用改进的结构相似度指数对经典Reinhard算法、经典Welsh算法与本文基于分通道自适应匹配的梯度保持色彩迁移算法性能进行定量评价,具体如下:
设μx、μy、σx、σy分别为参考图像x与目标图像y的k通道均值与标准偏差(k∈{L、a、b}),σxy为参考图像x与目标图像y的k通道协方差,则参考图像与目标图像的结构相似度指数如式(12):
(12) |
式中, C1与C2是维持稳定的常数,C1=(k1L)2,C2=(k2L)2,L是像素值的动态范围,L=255,k1=0.01,k2=0.03,如此便得到了Lab三通道之一的SSIM值。之后重复上述操作得到另两通道的SSIM值,最后将三通道SSIM值进行加权平均,得到综合评价图像色貌的改进结构相似度指数,具体如式(13):
(13) |
分别对图 1(e)、2(e)、3(e)与对应参考图像进行经典Reinhard算法、经典Welsh算法、本文色彩迁移算法的改进结构相似度指数评价,结果如表 1。
由表 1知,经本文色彩迁移算法所得目标图像与对应参考图像的改进结构相似度指数均高于经典Reinhard、经典Welsh算法,得到了较为理想的色彩迁移效果。
3.2.2 峰值信噪比评价算法任何形式的图像处理或多或少都会对源图像构架造成损伤,因此本文引入梯度因子对图像细节信息进行保留,现采用峰值信噪比(PSNR)法对经典Reinhard算法、经典Welsh算法与本文基于分通道自适应匹配的梯度保持色彩迁移算法的目标图像细节展现情况进行定量评价,具体如下:
设源图像中灰度信息的最大值为D,尺寸为M×N,源图像中每个像素为x(i, j), 目标图像中每个像素为y(i, j),则源图像与目标图像的峰值信噪比如式(14):
(14) |
分别对图 1(e)、2(e)、3(e)与对应源图像进行经典Reinhard算法、经典Welsh算法、本文色彩迁移算法的峰值信噪比评价,结果如表 2。
由表 2知,经本文色彩迁移算法所得目标图像与对应源图像的峰值信噪比均高于经典Reinhard、经典Welsh算法,得到了较为理想的色彩迁移效果。
4 结论本文针对经典Welsh与Reinhard算法进行改进,提出一种基于分通道自适应匹配的梯度保持色彩迁移算法,引入具有序列不相关性的L、a、b三通道作为匹配依据,消除了RGB颜色模式中单一目标区域受多通道影响的弊端。针对Welsh算法对灰度差异小或灰度范围重叠彩色源图像分级易造成误判的问题,采用待处理区域与背景区域色度均值差异最大的通道与参考图像对应通道进行自适应像素匹配。针对Reinhard算法易出现色彩细节信息丢失、阶调间过渡不自然的问题,引入梯度因子并同参考图像与源图像的标准差比值作加权运算,将结果作为本文迁移算法的缩放比例系数,对匹配到的每组像素采用保持梯度的色彩迁移算法进行着色,并针对不同类型源图像,通过实验确定了梯度信息与色度信息的最佳权值配比。实验表明,无论从主观或客观评价角度,本文改进的色彩迁移算法对灰阶过渡细腻类、局部高光属性类、全局高反差类源图像的彩色化效果均优于经典Reinhard及经典Welsh算法,极大提升了色彩迁移算法的灵活性与适用性。今后将深入研究分通道思想及梯度保持思想,并尝试将二者应用于图像处理的不同领域中,寻求更加行之有效的图像处理方案。
[1] |
陈海, 冯国灿. 保持细节的局部颜色迁移改进算法[J]. 计算机科学, 2013, 40(S2): 301-303. Chen H, Feng G C. An improved local color migration algorithm for preserving details[J]. Computer Science, 2013, 40(S2): 301-303. |
[2] |
高岩.基于颜色迁移的数字图像修复[D].曲阜: 曲阜师范大学, 2014. Gao Y. Digital image restoration based on color migration[D]. Qufu: Qufu Normal University, 2014. |
[3] |
Rudeman D L, Cronin T W, Chiao C C. Statistics of cone response to natural images. Implications for visual coding[J]. Journal of Optical Society of America, 1998, 15(8): 2036-2045. DOI:10.1364/JOSAA.15.002036 |
[4] |
Reinhard E, Ashikhmin M, Gooch B. Color transfer between images[J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41. |
[5] |
赵国英, 向世明, 李华. 高阶矩在颜色传输中的应用[J]. 计算机辅助设计与图形学学报, 2004(1): 62-66, 151-152. Zhao G Y, Xiang S M, Li H. Application of high order moments in color transmission[J]. Journal of Computer Aided Design and Graphics, 2004(1): 62-66, 151-152. DOI:10.3321/j.issn:1003-9775.2004.01.011 |
[6] |
胡国飞, 傅健, 彭群生. 自适应颜色迁移[J]. 计算机学报, 2004, 27: 1245-1249. Hu G F, Fu J, Peng Q S. Adaptive color migration[J]. Journal of Computer Science, 2004, 27: 1245-1249. DOI:10.3321/j.issn:0254-4164.2004.09.014 |
[7] |
滕升华, 谌安军, 邹谋炎. 一种基于拉普拉斯方程的图像彩色化方法[J]. 中国图象图形学报, 2006(4): 545-548. Teng S H, Chen A J, Zou M Y. An image colorization method based on Laplacian equation[J]. Chinese Journal of Image Graphics, 2006(4): 545-548. DOI:10.3969/j.issn.1006-8961.2006.04.017 |
[8] |
余志俊.高动态范围图像色调映射算法的研究与实现[D].北京: 北京交通大学, 2010. Yu Z J. Research and implementation of hue mapping algorithm for high dynamic range images[D]. Beijing: Beijing Jiaotong University, 2010. http://cdmd.cnki.com.cn/Article/CDMD-10004-2010120700.htm |
[9] |
Pitie F, Pan Z, Dong Z. A new algorithm for adding color to video or animation clips[J]. Proceedings of WSCG-International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2004, 12(3): 515-519. |
[10] |
Vieira L F, Vilela R D, Nascimento E R. Automatically choosing source color images for coloring grayscale images[C]. Doi: 10.1109/SIBGRA.2003.1241003.
|
[11] |
钟高锋. 一种新的灰度图像色彩迁移算法[J]. 计算机工程, 2008(9): 75-76. Zhong G F. A new gray image color migration algorithm[J]. Computer Engineering, 2008(9): 75-76. |
[12] |
钟高锋.图像色彩迁移算法的研究[D].广州: 广东工业大学, 2008. Zhong G F. Research on image color transfer algorithms[D]. Guangzhou: Guangdong University of Technology, 2008. http://cdmd.cnki.com.cn/Article/CDMD-11911-2008083687.htm |
[13] |
Anat L, Dami L, Yair W. Colonization using optimization[C]. Proceeding of ACM SICGRAPH, Los Angeles, USA, 2014. 689-693.
|
[14] |
向世明, 赵国英, 陈睿, 李华. 控向金字塔颜色传递[J]. 计算机辅助设计与图形学学报, 2015, 17(5): 948-953. Xiang S M, Zhao G Y, Chen R, Li H. Controlled color transfer to pyramids[J]. Journal of Computer Aided Design and Graphics, 2015, 17(5): 948-953. |
[15] |
刘勇.关于彩色化灰度图像的算法研究及实现[D].济南: 山东大学, 2017. Liu Y. Research and implementation of algorithms for color gray image[D]. Jinan: Shandong University, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10422-2007088348.htm |
[16] |
王泽文, 张小明. 基于p-Laplace方程的图像彩色化方法[J]. 工程图学学报, 2017, 31(6): 62-67. Wang Z W, Zhang X M. Image colorization method based on p-Laplace equation[J]. Journal of Engineering Graphics, 2017, 31(6): 62-67. |
[17] |
李申燕.图像颜色迁移技术的研究[D].太原: 中北大学, 2009. Li S Y. Research on image color transfer technology[D]. Taiyuan: North University of China, 2009. http://cdmd.cnki.com.cn/Article/CDMD-10110-2009171030.htm |