摄像机内方位元素标定是指对摄像机的主点、主距及畸变值的精确标定，可以有效提高图像的几何质量，提升图像配准精度和三维重建精度。应用于不同领域的不同摄像机都提出了内方位元素测试的要求^[1]。摄像机内方位元素标定即借助于像平面上一些点在世界坐标系中的坐标，确定照摄像机的内、外方位元素，得到有效的成像模型，以达到在像平面上像素点与三维空间中的点之间建立映射的目的。

传统的摄像机内方位元素标定通常采用经过精确标定的标定块来建立物点和像点间的关系，利用共线方程进行标定解算，虽然标定精度较高，但标定过程费时费力，不适用于在线标定和不可能使用标定块的场合。自标定技术对标定模板无苛刻的要求，通过摄像机对标定模板拍摄得到图像序列，利用从图像序列的匹配信息中得到的约束关系来计算摄像机内方位元素，不必用到摄像机的外部信息，不需要高精度的大型测试设备，其适用性更加广泛，且标定过程易于操作，符合现代摄像机标定的发展要求。因此，自标定技术对摄像机内方位元素和畸变标定理论的研究有重要的科学意义和应用价值，已经成为国际上的热点课题之一。

90年代初，Faugeras、Luong、Maybank等首先提出了自标定的概念，使摄像机内方位元素的标定更为灵活^[2]。从本质上说，所有自标定方法都只是利用了摄像机内方位元素自身存在的约束，这些约束与场景和摄像机的运动无关，自标定技术基本原理就是从图像中获取不同的约束条件，下面对几种算法进行简要介绍。

Faugeras等从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa方程的二次非线性约束，利用绝对二次曲线像和极线变换的概念推导出了Kruppa方程，通过直接求解Kruppa方程组解出内方位元素。根据射影几何的原理，将无穷远平面上的直线与绝对二次曲线相切的两条直线对应建立极线变换关系，由此便可推导出Kruppa方程。由两幅图像可以推导出两个Kruppa方程，因此通过3幅图像理论上可以联立求出内方位元素^[3]。但这种方法计算复杂，对噪声敏感。基于Kruppa方程的自标定方法是对两两图像之间建立方程，针对某些很难将所有图像统一到一个射影框架中的情况，该方法的优势在于：推导出Kruppa方程时，将无穷远平面隐含的3个未知数消去了，意味着无法保证无穷远平面在所有图像对确定的射影空间里的一致性，从而也部分解释了当图像序列较长时，基于Kruppa方程的自标定方法不稳定的现象^[3]。 1.2 分层逐步标定

分层逐步标定首先对图像序列做射影重建，在此基础上进行仿射标定和欧氏标定，再获得绝对二次曲线(面)约束，计算出仿射参数(即无穷远平面方程)和内方位元素。分层逐步标定的方法以Hartley的QR分解法、Triggs的绝对二次曲面法、Pollefeys的模约束法等为代表。分层逐步标定法有一个共同的特点：在射影重建后，把仿射标定和欧式标定合为一步，一次求解3个仿射参数(即无穷远平面参数)和内方位元素。

Hartley^[4]提出一种直接对摄像机投影矩阵进行QR分解的自标定方法，通过射影重建和射影对齐将投影矩阵变换成欧式意义下的投影矩阵。再利用QR分解法和Levenberg-Marquardt算法得到并优化内方位矩阵。该方法最大的特色在于利用了QR分解法消去旋转矩阵R，优点是当输入图像序列较长时能够取得较好的效果。

Triggs^[5]最早把绝对二次曲面的概念引用到自标定方法中来。基于将摄像机内参数的自身约束转移到对绝对二次曲面的约束的前提下，他提出两种方法：一是利用SQP优化算法，在给定3幅以上图像的条件下即可完全标定；二是半线性法，将绝对二次曲线像和绝对二次曲面的分量组织成列矢量，联立4幅以上图像得到的线性方程在最小二乘概念下解出参数，但此方法存在过分参数化的倾向，噪声大时所得结果的误差也比较大。在输入多幅图像并能得到一致射影重建的条件下，基于绝对二次曲面的自标定算法优点更突出。

Pollefeys^[6]将仿射标定和欧式标定分开进行。由无穷远平面在两图像间的单应矩阵在欧式坐标系下的表达式和在射影坐标系下的表达式可得到如下结论：该单应矩阵的3个特征值的模相等。这就是所谓的“模约束”(在内参数矩阵恒定的条件下)。在多于3幅图像下即可线性求解出绝对二次曲线的像。

Heyden首先提出基于对偶二次两面及其像的自标定方法，他将对偶绝对二次曲面用于摄像机自定标，得到的方程形式较为简洁，而且应用对偶绝对二次曲面可以避免由于分层算法所引起的不稳定问题。后来很多自定标的方法都是基于对偶绝对二次两面及其像^[7]。

上述自标定基本原理都只是利用了内方位元素自身存在的约束，这些约束与摄像机的外方位元素无关，这也是自标定方法较以前标定方法更灵活的原因。其各方法的基本原理和优缺点如表1所示。自标定技术通过光学和图像处理的联合优化来实现摄像机的内方位元素和畸变标定，其实现方法与传统的测试技术有着实质上的差别，给光学标定领域注入了新的活力。国内外对内方位元素的研究报道已引起人们的广泛关注。

表1

Table 1

表1

表1 自标定技术的基本原理及优缺点比较 The basic principles and advantages and disadvantages of self-calibration technology 方法名称 基本原理 优缺点 直接求解Kruppa方程 每两幅图像间存在着两个形如Kruppa方程的二次非线性约束 可直接求解内参数，无需做摄影重建,但计算复杂对噪声敏感 QR分解法 通过射影重建和射影对齐将投影矩阵变换成欧式意义下的投影矩阵。再利用QR分解法和L-M算法得到并优化内参数矩阵 输入图像序列较长时能够取得较好的效果 绝对二次曲面法 将摄像机内参数的自身约束转移到对绝对二次曲面的约束 保证了无穷远平面对所有图像的一致性,但噪声大时结果误差也大 模约束法 将仿射标定和欧式标定分开进行，利用“无穷远值的模相等”的性质平面在两图像间的单应矩阵的3个特征 多于3幅图像下可线性求解出绝对二次曲线的像 对偶绝对二次曲面及其像法 应用对偶绝对二次曲面可以避免由于分层算法所引起的不稳定问题 得到的方程形式较为简洁

表1 自标定技术的基本原理及优缺点比较 The basic principles and advantages and disadvantages of self-calibration technology

现实场景中往往存在着丰富的有规律的直线信息，国外学者对此进行了大量的研究。基于场景的摄像机自标定方法，其目的在于利用更多的基于图像本身的约束条件，提取出图像中包含的空间几何信息以实现摄像机的内方位元素的标定。此类方法大都基于透视投影下的空间平行直线在像平面上相交于一点的消失点理论。

利用行人和周围场景的几何信息的摄像机自标定方法的基本思想是利用行人的几何信息确定出图像中3个相互正交的消失点，然后利用这些消失点来找出摄像机的内方位元素和外方位元素。传统的确定摄像机的内方位元素的方法中图像必须有两条相互正交的直线，这种限制会阻碍这种方法的实际应用。有文献^[8]提出一种利用3组连续的不同方位的行人图像的几何信息以进行摄像机自标定的新方法。该方法灵活运用了透视投影中的交比关系，直接求解出摄像机的投影矩阵P_3×4而无需依次求解焦距，光心等参数。该方法分3步进行。首先，从图像中提取竖直消失点和地平线如图1所示。图中绿线为图像中行人头和脚的连线的延长线，l₂为图像中道路所提取的直线，l₁为对应的头部运动线路。

图 1

Fig. 1

图1 提取地平线lh和竖直消失点(uz，vz)示意图 Schematic of horizon lh and vertical vanishing point (uz，vz)

其次，利用交比在不同坐标系中不变的性质和行人的身高H以求解投影矩阵P_3×4中的矩阵元素。如图2所示，V为消失点，C和D为头和脚点，A和B为VD，VB与地平线的交点，E为AB中点，则有。其他矩阵元素则利用主平面和消失点的特性求解。求解出矩阵P_3×4的所有元素后，内方位元素便可直接得到。

图 2

Fig. 2

图2 利用交比不变性质提取线段信息示意图 Segment information extracted schematic utilization cross ratio invariant properties

文献^[9]提出一种利用包含一个圆和若干直角的平面靶标进行摄像机内方位元素标定的方法，证明可以从一幅同时包含一个直角和一个圆的图像中得到该平面的消失线构造的二次曲线约束，通过从不同角度获得标定靶标的图像即可对被测摄像机的内方位元素进行标定,此方法有3个优点:首先，各幅标定图像间的相对位置关系无需测试；其次，一幅图像中的多个直角提供的绝对二次曲线和直线信息可以被精确提取；第三，圆形靶标和直角形靶标容易获得，且在现实世界中有广泛的应用范围。文中采用图3所示的同时包含两个圆形和箭头图形的靶标进行内方位元素标定，内方位元素标定结果如表2所示，根据标定结果对一房屋模型进行三维重建，得到窗户直角和两墙面夹角的模拟结果分别为91.28°和89.83°，与实际值90°十分接近。

图 3

Fig. 3

图3 包含圆和直角的标定靶标 Calibration target comprising circles and right angles

表2

Table 2

表2

表2 内方位元素标定结果 Calibration results within orientation elements fu fv s u0 v0 4209.2 4211.6 6.61 1254.5 725.1

表2 内方位元素标定结果 Calibration results within orientation elements

透视投影下，空间平行的直线在像平面上汇聚到一点，该点称为消失点。因此，当被摄目标(如建筑物)表面存在丰富的有规律性的直线信息时(如图4)，就可以利用消失点进行摄像机内方位元素的标定。从场景建筑物表面提取3组正交平行线对大多建筑来说是可行的，进而可以得到3个正交方向上的消失点，这3个消失点组成的三角形的重心为摄像机光轴与像平面的交点，由此可建立消失点与摄像机内方位元素的约束方程以对其标定。基于建筑物特征提取消失点的自标定方法利用几何结构信息进行标定，是利用物体在在透视投影的作用下的不变性质来对内参数给出约束^[10]。

图 4

Fig. 4

图4 从建筑物中的平行线提取消失点 Vanishing Point extracted from the building parallel lines

国外学者将多种现实场景的几何信息用于摄像机自标定，如斑马线、球形物体、汽车轮廓等，旨在利用更多基于像片本身的约束条件实现摄像机的参数标定，进一步提取出像片中包含的空间几何信息，这样，可量测影像数据就不再局限于专业设备所采集的数据，从而降低了地理空间数据的采集成本，为空间信息获取和模型解析提供了更直接有效、贴近生活的方式。但国外学者多将内方位标定结果用于导航、识别、监视、三维重建等功能，因此内方位元素标定精度并不高，价值多在于各领域的实际应用。

张正友研究员^[11]提出了一种用平面模板代替传统标定块的标定方法。该方法基于点，需要匹配模版的点和图像点，仅要求绘制一个具有精确定位点阵的模板(如图5所示)，然后模板和摄像机作任意的相互运动，获得最少3个不同方位的模板图像，在考虑图像的径向畸变的情况下，通过确定图像和模板上的点的匹配，计算出图像和模板之间的单应性矩阵，并利用该单应性矩阵线性解出摄像机内参数。在此过程中运用闭式解的方法,对结果进行基于最大似然准则的非线性优化。根据计算机模拟和实验验证，该方法能够得到很好的标定结果，内方位元素标定精度达到0.335像元^[11]。此方法简单方便成本低廉标定的精度相对于其他的自标定方法要高，符合办公家庭使用的桌面视觉系统的标定要求。但此方法需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，当图像和选取的点较多时，这种匹配关系的确定会成为一种极大的负担，给使用者带来了不便。

图 5

Fig. 5

图5 张正友方法使用的平面模板 Zhang Zhengyou plane template method used

鉴于张正友方法存在的问题，吴福朝等人^[12]提出一种基于矩形模板的自标定法。该方法是在圆环点自标定法的基础上利用空间平面上两个非平行矩形(这两个矩形的边长和位置未知)，并通过计算由两个矩形得到的两个圆环点的图像来标定摄像机。首先通过两个非平行矩形模板的图像计算圆环点的图像，然后由摄像机在不同方位拍摄的3幅图像得到圆环点对摄像机的内方位元素的约束方程，进而标定摄像机内方位元素。摄像机的外方位元素由图像与空间平面间的单应矩阵来确定。该方法的独特之处在于，不必知道矩形的几何信息且整个标定过程不涉及图像匹配问题，此外，所有的计算方法均是线性的。该方法所用的推导圆环点的理论模板和真实模板如图6所示。根据与张正友标定法得到的标定结果进行三维重建实验得到结论：基于矩形的自标定法仅用3幅图像就能够给出较为精准的平面重建结果，对于3个平面夹角的重建结果分别为90.06°、88.87°、91.84°，内方位元素标定的结果对比如表3所示。从重建结果精度可以看出，该方法得到的内方位标定结果精度略高于张正友标定法^[12]。

图 6

Fig. 6

图6 推导圆环点所用理论模板和标定所使用的真实模板 The circular points derived theoretical template and real template used in calibration

表3

Table 3

表3

表3 用3幅图像得到的内方位元素标定结果比较(单位：像元) Three image calibration results are based on within orientation elements (unit: pixel) fu fv s u0 v0 矩形模板法 2550.24 2575.04 75.46 716.19 283.77 张正友法 2603.36 2635.75 776.52 192.04 121.53

表3 用3幅图像得到的内方位元素标定结果比较(单位：像元) Three image calibration results are based on within orientation elements (unit: pixel)

综上，利用包含特殊图形的标定模板进行自标定的方法是针对传统标定块的标定方法过程复杂、花费巨大的缺点提出的。这种方法的优点在于要求的实验设备简单，操作过程简单易行，经自标定技术与光学、数字图像处理技术融合，利用图像中提取出的绝对二次曲线、消失点、圆环点等信息与模板的几何信息、几何特征的相互关系，最终求解出摄像机的内参数。其缺点在于内参数的标定精度和算法的鲁棒性有待提高，本文研究的自标定方法也是采用模板的方法，因而将对标定精度和鲁棒性的提高作深入研究。

基于主动视觉的自标定方法是指通过控制摄像机的运动以实现自标定的方法，摄像机被固定于一个可精确控制运动的平台上，平台的运动参数可通过控制计算机读出。基于主动视觉的自标定方法的特点是不需要额外的标定块只需控制摄像机做特定的运动，利用在不同位置上所拍摄的多幅图像便可同时标定出摄像机的内方位元素和摄像机坐标系与平台坐标系之间的旋转矩阵和平移向量。

马颂德研究员等^[13]提出的基于摄像机三正交平移运动的自标定方法十分系统地阐述了基于主动视觉进行摄像机自标定的方法。该方法的优点在于可以线性求解摄像机的内方位元素。不足之处在于需要高精度的平台实现摄像机的三正交运动，而且未考虑畸变因子，同时该方法对噪声比较敏感。

李华研究员等^[14]提出了一种新的基于主动视觉的摄像机自标定方法，该方法的基本思想为控制摄像机做5组平面正交运动，利用图像中的极点信息以线性的对摄像机进行自标定。该方法通过一组平面正交运动(两次相互正交的平移运动)所得两幅图像的极点相同的理论，得到绝对二次曲线像ω与两个极点的一个约束方程。即:

该方法的优点在于考虑了畸变因子s，解的稳定性比较高。不足之处在于对平台设备的要求也比较高，而且没有很好地说明关于5组正交运动之间应满足怎样的条件才能保证ω可以唯一求解的问题。

如表4所示，基于主动视觉的标定方法与上述几种方法的相似之处在于都利用了图像的特征点的匹配关系以及图像间的极几何关系，其最显著的优点在于标定精度很高，算法鲁棒性也很高。但是上述几种自标定方法相比，其不足之处在于要求知道摄像机精确的运动信息，这也大大限制了它的应用。

表4

Table 4

表4

表4 基于主动视觉自标定方法比较 Comparison of self-calibration method based on active vision 摄像机运动方式 基本理论 对实验平台要求 三正交运动 根据图像的对应点关系计算对应的3个极点与内方位元素的关系 需要高精度平台支持 4组两两相互正交的平移 利用图像极点关系求解内方位元素 需要高精度平台支持 5组两两相互正交的平移 利用场景的信息和图像极点关系求解内方位元素 需要高精度平台支持

表4 基于主动视觉自标定方法比较 Comparison of self-calibration method based on active vision

根据对国内外摄像机自标定方法研究文献的调研，分析和总结国内外学者对自标定技术的研究状况，列出了各方法的基本原理及优缺点。可以看出，自标定技术具有测试过程简单的巨大优势，近几年的研究已不仅能够对特殊形状的标定靶标进行图像约束的提取，而且能够对现实生活中常见的各种几何信息进行广泛的利用。随着对自标定算法的深入研究，其解算算法的鲁棒性会愈来愈高，标定结果的精度也随之提高，应用范围也将被极大的拓展。

摄像机的自标定技术基本思想是利用各图像中匹配点对应关系和摄像机在不同角度成像时其内参数不变的性质，根据图像序列建立目标和像点的投影重构，然后引用一些有效的约束，从而实现从投影结构到欧几里得3D结构的转变。摄像机自标定技术的首要步骤是根据摄像机成像特点和所选用的标定靶标建立内方位元素解算模型，同时为了更精准地得到内方位元素，需要在算法模型中考虑到畸变的影响，然后再根据解算模型选择相应鲁棒的解算方法。

在航天领域中，特别是测绘相机，对内方位元素和畸变的标定精度有着极高的要求。由于应用目的的差异，一些对于内方位元素和畸变标定方法得到的结果精度远远不能满足航天测绘摄像机对于精度的要求。因此若自标定技术应用于内方位，需要建立内方位元素和畸变的误差模型，对内方位元素和畸变的计算精度的影响因素进行分析，为得到最合理的结果精度进行理论研究和实验验证。

畸变具有独立性，不随测量空间的大小及被测物体远近的变化而改变，仅与摄像机光学系统有关，且图像边缘区域的畸变程度远大于中心区域。摄像机自标定技术通常将畸变系数与摄像机内、外方位元素统一于一个成像模型中，利用非线性优化算法对摄像机参数和畸变系数一并求解，并在此基础上展开图像几何畸变校正。

对用于测试目的的摄像机自标定技术而言，测试精度至关重要，需要从各方面对能够影响测试精度的实验条件因素重点分析。从自标定算法的研究中可以总结出进行内方位元素测试时对标定结果精度产生影响的实验条件因素，如:图像噪声、成像角度、靶标制作精度、光照条件、采集的图像数量等等。需要通过实际标定实验归纳出达到理想标定精度时各个实验条件影响因素的最优值，并对其进行误差分析。

摄像机自标定技术是国际上近年来在计算机视觉领域极为热门的研究内容，由于其操作过程的易行性的巨大优势，使其在摄影测量和三维重建领域有广泛的应用。同时自标定技术通过光学和图像处理的联合优化来实现内方位元素和畸变的标定，其实现方法与传统的测试技术有着实质上的差别，给光学参数测试领域注入了新的活力。随着对摄像机自标定技术的进一步研究，其应用范围将更为广阔，标定精度也会达到更高的层次。