2. 清华大学 精密仪器与机械学系, 北京 100084;
3. 北京理工大学 深圳研究院, 广东 深圳 518057
2. Department of Precision Instrument, Tsinghua University, Beijing 100084, P. R. China;
3. Shenzhen Research Institute, Beijing Institute of Technology, Shenzhen 518057, Guangdong, P. R. China
人类的颜色感知主要由物体反射率决定,在不同光照条件下观察到的物体颜色是恒定不变的,即具有色恒定性[1]。然而成像系统不具有这一特性,其所获得的图像色彩是由光源、成像物体反射率和成像系统的光谱响应函数共同决定的[2],因此所得图像会因光照条件的变化及探测器光谱响应的偏差而产生色差。为了避免成像系统探测器光谱响应函数与CIE标准观察者色匹配函数的偏差所带来的影响,必须对图像进行颜色校正,以保证成像系统能正确感知物体的本征颜色。
在已有的研究中,颜色校正方法主要可分为基于映射的颜色校正方法、基于光谱反射率还原的颜色校正方法和基于图像分析的颜色校正方法3类[3]。其中,基于映射的颜色校正算法以其无需考虑通道独立性和色品恒定性等颜色特性,可直接建立相关颜色空间与标准颜色空间关联的优势,在多种数字图像设备的颜色校正中均获得了广泛的实际应用[4]。常用的基于映射关系的颜色校正方法多采用多项式回归、三维插值、神经网络等算法来计算颜色通道响应的定标参数。线性回归方法拟合得到的转换矩阵简单且具有一定的校正效果,因此是最常采用的一种颜色定标方法。但由于线性拟合模型和实际相机传感器的响应特性并不完全一致,因此校正精度不高,在高精度色彩定标方面有一定的局限性。本文提出的基于LASSO的回归方法,采用了非线性的拟合模型,大大提高了校正精度,而且它同时还保留了多项式回归实现的简易性,因此具有较强的实用性。
1 基于映射的彩色相机颜色校正方法以用于探月着陆仓监视相机的颜色校正为例,按照ISO17321-1标准规范和月面照明的实际情况,需要选用D65光源作为颜色校正实验的照明光源。用于颜色定标的标准色卡选择Gretgmacbeth ColorChecker 24色卡。颜色校正总体框图如图 1所示。
整个校正流程分为两步:
1) 第一步,利用光谱仪在D65光源照射下读取标准色块的XYZ色度数据,利用式 (1) 进行颜色空间转换,再利用式 (2) 非线性校正后获得sRGB空间的标准颜色值。
(1) |
(2) |
2) 第二步,调整照明光源,分别将在不同照度下相机采集的ColorChecker 24色卡图像作为测试样本,经处理得到24色块的实际RGB数据。之后,将实测样本的RGB空间与其标准RGB色度空间进行颜色匹配的数据拟合处理,即可近似获得相机拍摄的实际值与目标真实值之间的映射关系。
2 数据拟合方法颜色校正的关键技术之一是如何利用精简的模型准确表达待校正RGB系统与标准颜色系统的映射关系,这需要选择合适的数据拟合方法。传统方法有线性回归、二次多项式回归等,本文在传统方法的基础上,提出的一种基于LASSO的多项式回归方法,取得了更好的拟合效果。
2.1 线性回归利用线性回归建立正向的sRGB色度预测模型,是一种常用的颜色校正方法,令:
(3) |
记测量到的色块RGB信息为矩阵S,相应的标准RGB信息为矩阵D,待求解的转换矩阵为M,则测试样本RGB实际值到标准颜色值的变换可表示为:
(4) |
其中:
根据最小二乘法原理,令残差平方和最小化,由文献[5]中结论可得:
(5) |
解得转换系数矩阵M后,即可利用其来对相机获取的原始图像进行色彩校正。
2.2 二次多项式回归线性回归方法的优点是计算简单,但由于受相机响应的非线性因素影响,难以满足探月相机这样高标准高精度的色彩校正要求。为了进一步提高校正精度,刘关松等[6]将非标准到标准颜色空间的映射关系建立在二次项非线性模型的基础上进行求解。以标准颜色分量Rs为例,令:
(6) |
Rs为ColorChecker 24色卡各色块R分量的标准值。R、G、B分别为图像中各色块待校正的颜色值,令x=[R2, G2, B2, RG, RB, GB, R, G, B, 1]T,转换系数a=[a1, a2…a9, b]T,则有:
(7) |
由于x和Rs均为已知量,因此系数a的求解等同于线性回归方法中转换矩阵的求解方法。同理,sRGB色度系统中G、B分量的系数矢量也可按此方法求出。
2.3 基于LASSO的多项式回归二次多项式模型中基于一组数据需要求解10个变量的未知系数,而当增加到3次及以上多项式时,变量数会愈加增多,且部分变量之间存在关联,大大增加了模型的复杂程度。本文提出的基于LASSO的多项式回归方法,能保留多项式中最具有影响力的特征变量,从而可以有效简化模型,得到最优的转换矩阵。
LASSO回归分析方法从最小二乘法原理出发,其核心思想是在最小化残差平方和的同时规则化参数项,利用L1范数将各项参数的绝对值之和控制在可接受的范围内[7-9],具体原理如图 2所示。
利用LASSO方法得到的回归系数β为:
(8) |
其中,X、y分别为数据样本自变量矩阵和响应变量。t≥0为调和参数,通过控制参数t的大小,可以使系数矩阵整体变小,甚至减小到0,起到特征选择的作用[10-13]。因此在本文的颜色校正中应用LASSO,有助于得到更贴近实际的转换模型。
例如在二次多项式回归中运用LASSO方法,标准空间RGB信息仍为矩阵D,自变量S′为实测RGB值的二次项组合:
系数矩阵M′为:
则有:
(9) |
以R分量为例,有Rs=S′M1′,M1′=[a10′ a11′… … a19′]T,则根据上述利用L1正则化的最小二乘法原理有:
(10) |
或:
(11) |
令
其中W=diag(|a10′|, …, |a19′|)。为求得最小值点,对上式求关于M1′的一阶导数,令其为零可得到最优R分量转换矩阵:
(12) |
同理可得G、B分量系数,解出转换矩阵M′。
3 实验结果与分析为了验证回归分析的有效性,在获得实验数据后,本文利用24色卡中20个色块的颜色信息作为训练样本,通过数据拟合获得颜色校正矩阵。之后,利用该颜色匹配关系对剩余4个色块进行色彩校正,并对校正结果进行色差评测,如图 3所示。
为了保证良好的照明环境,本文实验利用可提供均匀D65照明的SpectraLight QC灯箱作为光源,分别在1200 lx和2000 lx的照度下,进行了彩色校正实验,采集图片如图 4所示。利用线性回归、二次多项式回归、LASSO回归方法进行数据拟合得出颜色校正矩阵后,利用CIELAB色差公式检验校正效果[14]。
在1200 lx实验环境中,采集图样的4个测试色块RGB值与标准RGB值之间差距较大,尤其是第3个测试点具有很大色差。经利用线性回归、二次多项式回归、LASSO回归方法处理得到的转换矩阵校正后,各测试色块的颜色值都更贴近于标准值。
(1) 线性回归等方法拟合得到的校正矩阵都可以有效地校正图像颜色,其中基于LASSO的二次多项式回归方法校正效果最佳,色差均值最小;
(2) 带有L1正则项的LASSO回归方法在线性多项式、二次多项式的拟合应用中,都可以进一步减小色差。尤其在二次多项式中运用LASSO的效果更为明显,说明LASSO回归方法具有更高的拟合精度,更适用于颜色校正;
(3) 线性回归和二次多项式回归方法都对校正色差具有明显的效果,但从色差均值来看,二次多项式回归方法校正能力更强。这说明,由于相机本身以及光照条件等原因,颜色空间的转换关系受非线性因素影响较大;
(4) 根据校正前后4个测试色块的色差对比,可以发现,对于校正前色差较小的色块,线性多项式较二次多项式更能解析颜色转换关系;对于校正前色差较大的色块,二次多项式比线性多项式更具校正优势。
表 2和图 6所示为2000 lx实验条件下测试色块的色差情况。从实验结果看来,2000 lx照度下图像原始色差高于1200 lx照度下色差,说明图像色差受光源照度的影响。测试色块RGB值经校正后,色差大小情况与1200 lx照度下大体一致,虽然色差均值稍高,但整体趋势趋于相同。数据拟合方法中,仍以基于LASSO的二次多项式回归方法校正效果最优。线性多项式中,LASSO回归方法校正精度也略高于基于最小二乘法原理的线性回归方法。这说明基于LASSO的数据拟合方法对光照变化不敏感,具有较强的环境适应能力。
本文利用ColorChecker 24色卡进行了不同照度下的颜色校正实验,以其中20色块颜色信息作为训练样本集,分别运用线性回归、二次多项式回归以及基于LASSO的线性和二阶多项式回归对数据集进行了拟合,得出校正矩阵,并以此对剩余4色块进行颜色校正,评估了剩余色差。测试结果表明,基于LASSO的二次多项式回归方法拟合精度最高,校正后的图像色差最小,而且对照度不敏感,证明了本文所提算法在颜色校正应用中的优越性。较之于二次多项式回归等,LASSO方法具有压缩系数的特点,在精简拟合模型的方面有其特别优势,也可以进一步推广到未来用到三阶或更高阶多项式拟合的更高精度的校正应用中。
[1] | Lam E Y, Fung G S K. Single-Sensor Imaging:Methods and Applications for Digital Cameras[M]. Boca Raton: CRC Press, 2008: 367-394. |
[2] |
董俊鹏.基于光照分析的颜色恒常性算法研究[D].合肥工业大学, 2015.
Dong J P. Research of color constancy algorithm based on illumination analysis[D]. Hefei University of Technology, 2015. |
[3] |
徐晓昭, 沈兰荪, 刘长江. 颜色校正方法及其在图像处理中的应用[J]. 计算机应用研究, 2008, 25(8): 2250–2254.
Xu X Z, Shen L S, Liu C J. Color correction methods and application in image processing[J]. Application Research of Computers, 2008, 25(8): 2250–2254. |
[4] |
宫睿.智能移动终端图像显示性能评价方法及应用研究[D].浙江大学, 2014.
Gong R. Study of assessment method and application for image display performance of smart mobile devices[D]. Zhejiang University, 2014. |
[5] |
丁二锐, 王义峰, 曾平, 丁阳. 基于结构风险最小化和全最小二乘法的色彩校正[J]. 电子与信息学报, 2008, 30(3): 717–720.
Ding E R, Wang Y F, Zeng P, Ding Y. Color calibration based on structural risk minimizationand total least squares[J]. Journal of Electronics & Information Technology, 2008, 30(3): 717–720. |
[6] |
刘关松, 吕嘉雯, 徐建国, 高敦岳. 监督颜色校正方法研究[J]. 计算机学报, 2003, 26(4): 502–506.
Liu G S, Lv J W, Xu J G, Gao D Y. The study of supervised color correction[J]. Chinese Journal of Computers, 2003, 26(4): 502–506. |
[7] | Kim S J, Koh K M, Lustig M, Boyd S, Gorinevsky D. An interior-point method for large-scale-regularized least squares[J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1(4): 606–617. DOI:10.1109/JSTSP.2007.910971 |
[8] | Xu Z B, Zhang H, Wang Y, Chang X Y, Liang Y. L1/2 regularization[J]. Science China Information Sciences, 2010, 53(6): 1159–1169. DOI:10.1007/s11432-010-0090-0 |
[9] | Tibshirani R. Regression shrinkage and selection via the lasso:a retrospective[J]. Journal of the Royal Statistical Society:Series B (Statistical Methodology), 2011, 73(3): 273–282. DOI:10.1111/rssb.2011.73.issue-3 |
[10] |
张靖.面向高维小样本数据的分类特征选择算法研究[D].合肥工业大学, 2014.
Zhang J. Classification and feature selection on high-dimensional and small-sampling data[D]. Hefei University of Technology, 2014. |
[11] | Bradley E, Trevor H, Iain J, Tibshirani R. Least angle regression[J]. The Annals of Statistics, 2004, 32(2): 407–499. DOI:10.1214/009053604000000067 |
[12] |
柯郑林. Lasso及其相关方法在多元线性回归模型中的应用[D].北京交通大学, 2011.
Ke Z L. The application of Lasso and its related methods in multiple linear regression model[D]. Beijing Jiaotong University, 2011. |
[13] |
刘柳, 陶大程. Lasso问题的最新算法研究[J]. 数据采集与处理, 2015, 30(1): 35–46.
Liu L, Tao D C. Review on recent method of solving Lasso problem[J]. Journal of Data Acquisition and Processing, 2015, 30(1): 35–46. |
[14] |
方竞宇, 徐海松, 汪哲弘, 吴晓玟. 相机参数可变的齐次多项式色度特征化模型[J]. 光学学报, 2016, 36(8): 309–316.
Fang J Y, Xu H S, Wang Z H, Wu X W. Homogeneous polynomial model for colorimetric characterization of camera with variable settings[J]. Acta Optica Sinica, 2016, 36(8): 309–316. |