小型无人机具有远纵深、全天时、实时侦察定位等独特优势，被誉为是现代战场的“千里眼”和“杀手锏”^[1]。它的快速响应和隐蔽特性使得它成为当今受世界各国关注的高技术武器装备之一^[2]。除了军事之外，小型无人机在民用方面也有广阔的应用空间^[3]。但小型无人机飞行中容易受气流和发动机自身震动影响，使机载相机拍摄的影像存在晃动、震动和畸变等。为了提高小型无人机搭载系统的成像品质，必须消除震动影响。比如通过隔震设计对震动环境加以改善^[4]等，目前较为常用的处理手段是电子稳像。

电子稳像指利用计算机数字图像处理技术直接对小型无人机搭载摄像系统得到的图像序列进行处理。由于电子稳像技术具有易操作、更精确、更灵活、体积小、价格低、能耗小以及高智能化等优点，它在小型无人机视频稳定上有着巨大的作用^[5]。电子稳像系统的主要模块分为全局运动估计、主运动估计和运动补偿三部分^[6]。全局运动估计是计算视频图像序列的帧间运动^[7]；主运动估计是从已估计的全局运动量中去除晃动量，保留平滑的稳定量^[10]；运动补偿是通过几何变换来消除不想要的晃动量，主要是针对图像的平移量(Δx，Δy)和旋转量(θ)进行。

小型无人机的优势在于准确地快速响应，因此小型无人机电子稳像的效率与精度非常重要。而主运动估计方法是电子稳像的核心。本文提出一种快速最优化的主运动估计稳像方法，可以在保证主运动估计效率的同时提高主运动估计质量，对于小型无人机电子稳像技术的发展有一定的意义。

对于小型无人机来说，其在获取地面数据时一般不会主动改变飞行高度和姿态，也很少会改变航向。因此在对小型无人机视频影像做运动分析时，可以先只考虑平移的因素，而忽略掉旋转和缩放的部分。所以本文选择灰度投影法为全局运动估计方法。灰度投影法是一种最常用的全局运动估计方法，该方法根据图像灰度的总体分布变化来估计图像序列的帧间运动量^[8]，对相邻帧图像的各行列灰度投影值曲线做曲线值相关运算，其互相关曲线的峰值即为对应的行、列平移量^[9]。因此在后续主运动估计时，也只需要对对应的行、列平移量进行处理。

而主运动估计模块作为电子稳像的核心，它的效果直接影响电子稳像的效果。一般的主运动估计原理就是通过对运动量进行低通滤波，滤除高频噪声。主要的主运动估计方法有Kalman滤波方法^[10]和L1最优化方法^[11],但仍各自存在不足。本文分别分析了Kalman滤波法和L1最优化方法的特点，并将二者结合，提出了本文的方法。

在小型无人机电子稳像中，实时性非常重要。实时处理方法里，最常用的是Kalman滤波法。该方法所构造的动态运动模型能够实际地描述由于摄像机运动所造成的帧间运动，并通过递归估计获得最佳的主运动参数。Kalman滤波和其他算法相比具有计算量小、实时性高、灵活的特点。但是Kalman滤波算法也存在不足之处。对一组实际视频数据估计的运动偏移量进行Kalman滤波，并通过改变其过程噪声的方差Q对主运动估计的结果进对比，如图1所示。

图 1

Fig. 1

图1 噪声方差Q的取值与Kalman滤波效果的关系 The relationship with noise variance Q and result of Kalman filtering

从图1可知，不同的Q值会影响Kalman滤波的效果。Q的值越大，估计的主运动和实际的偏移量越接近，但平滑效果越差，即欠稳；Q的值越小，估计的主运动曲线越平滑，但当主运动趋势发生变化时，会使得对主运动估计量的修正时间更长，出现“滞后”现象，使得稳定后的图像与实际图像的偏离越大，即过稳。因此，当主运动趋势改变时，Kalman滤波实际上只能在欠稳和过稳之间取舍，也就是在视频稳定效果与视频信息保留这两个方面进行权衡。因此需要对Kalman滤波进行改进，能选择较小的Q值得到平滑的主运动曲线以达到较好的稳像效果，又可以避免过稳现象。

L1最优化方法是最近提出的一种将最优化理论运用在主运动估计上的算法，它属于事后处理，处理效果非常好，已经应用于一些视频网站上。最优化方法是一种在有限种或无限种可行方案中挑选最优方案，构造寻求最优解的计算方法^[11]。在此方法中，L1表示一种范数。范数是一个向量或矩阵映射在实数域上的值，它满足一些特性，可以在一定程度上代表这个向量或矩阵的性质^[12]。L1范数的计算公式是：

代表各维的绝对值之和，对于矩阵来说，就是每一列的绝对值之和的最大值。

主运动估计就是从全局运动量中提取出不规律的晃动信息，得到想要的平稳的摄像机移动路径。从电影的拍摄角度出发，考虑理想的视频拍摄一般是由静止不动、匀速运动和连续的变速运动构成，反映到视频图像稳定上看就是要将全局运动路径拟合成：恒定值、线性变化、抛物线这3种形态，也就是其主运动路径，如图2所示。

图 2

Fig. 2

图2 全局运动与主运动路径 The paths of global motion and intentional motion

由于本文是针对小型无人机航拍的视频进行主运动估计，全局运动的估计采用灰度投影算法，不考虑视频的旋转和缩放问题，因此对于最优化的约束条件要求主运动与全局运动差别不要过大，没有完全包含和关键点这两种约束^[13]。

定义C_t是全局运动路径，P_t是稳像后的路径，要使主运动路径像图2一样，定义目标函数f(P)=ω₁ |D(P)|₁+ω₂ |D² (P)|₁+ω₃ |D³ (P)|₁。其中|D(P)|₁是稳像后路径一阶差分的L1范数，它为0代表稳像后路径为恒定值；同理，|D²(P)|₁是稳像后路径P_t二阶差分的L1范数，它为0代表稳像后路径是线性变化；|D³(P)|₁是稳像后路径P_t三阶差分的L1范数，它为0代表稳像后路径是抛物线；ω_i表示不同的权重，可以自由调整。所以目标函数f(P)值越小就表示主运动路径越平滑。

通过调整ω_i的值可以得到不同的平滑效果，如图3所示，本文分析了不同权重下L1最优化效果，图3(d)中的(10,1,100)这种权重得到的效果最好。因此本文选择这个权重的结果作为主运动估计的结果,在之后的计算中，也选择这个权重来进行主运动的估计。

图 3

Fig. 3

图3 不同权重的最优化结果图 The optimization results with different weight

从结果可以看出，L1最优化算法对于主运动的估计是非常准确的，得到的主运动路径既平滑又与全局运动数据保持很好的一致性，效果很好。但是这种方法存在两个问题：(a) 处理速度慢，整个算法相当于把主运动路径P_t当作未知量，随着视频帧数变多，需要求解的未知量也越多，对于时间较长的视频会花很长时间来计算；(b) 属于事后处理，这种算法要求事先得到了整个全局变量的数据之后再进行主运动估计，无法满足小型无人机实时处理的要求。

从之前的分析可以看出，L1最优化结果的方法较好，Kalman滤波在运动趋势变化剧烈时有明显的精度误差，但是Kalman滤波可以做到实时处理，L1最优化只能进行后处理而且处理速度较慢。因此本文融合了L1最优化和Kalman滤波两种方法的优点，提出最优快速预测方法。

首先分析L1最优化与Kalman滤波算法的处理效果。从图4可以看出，Kalman方法对于运动趋势的变化不敏感，对全局运动数据变化趋势的估测精度有限，当数据变化趋势改变一段时间后，才会在Kalman滤波的结果上显现出来；而L1最优化方法可以比较准确的把握数据变化的趋势。

图 4

Fig. 4

图4 Kalman滤波与L1最优化方法的效果比较 The effect comparison of Kalman filtering and L1 optimization

考虑综合两者的优点，把摄像机看作一个运动载体，利用L1最优化方法算出的结果获得运动的趋势，也就是摄像机运动的方向；利用 Kalman滤波器算出的结果获得运动的速度。根据运动的方向和运动的速度，估计下一时刻摄像机的位置，实际上就得到主运动的数据了。对于L1最优化方法来说，由于快速最优化方法只需要运动方向，所以可以将数据分段处理，不利用L1最优化方法处理整个视频数据，而是一部分一部分地处理(以100帧为一组数据)，以提高处理的速度。考虑计算机速度为理想状态，该方法可以实现比实际数据落后100帧的准实时处理。每100帧相邻部分的数据，由于各100帧是分开处理的，所以邻接处的值可能存在不连续的现象，瞬时的偏移量会很大，反映到图像上会出现跳变现象，用这时的数据确定运动方向不合理，因此沿用上一帧计算出来的运动方向，进行平滑过渡，解决跳变问题。

快速最优化方法得到的效果如图5所示，可以看出，快速最优化方法得到的结果数据变化趋势与L1最优化的结果始终保持一致，不存在Kalman滤波运动变化趋势落后，预测精度变低的现象，与Kalman滤波相比它跟全局运动数据符合得更好。

图 5

Fig. 5

图5 快速最优化方法的主运动估计效果 The intentional motion estimation of the fast optimal method

本文所使用的小型无人机视频实验数据由沈阳航天星光集团提供的固定翼小型无人机搭载高清彩色网络摄像机获得。拍摄日期为2011年10月11日，地点位于中国辽宁省铁岭市铁岭县遥堡镇小康屯村的周边，北纬42°12′58.27″，东经123°36′15.05″。网络摄像机分辨率为1600×1200，帧频25 帧/s，小型无人机飞行航高300 m，航速18 m/s，飞行范围1000 m×2000 m。拍摄地区地势平坦，农田和少量的树林为主要地物类型，村落建筑以平房和大棚为主，纹理特征丰富。

先用灰度直方图法估计全局运动，在利用实验数据进行主运动估计，结果如图6所示。可以看出其中L1最优化的方法效果是最好的，数据变化趋势与全局运动符合很好，Kalman滤波得到的结果变化趋势明显落后于全局运动，预测精度不高，而快速最优化方法结果的变化趋势与L1最优化的结果完全一致，与Kalman滤波相比精度提高。

图 6

Fig. 6

图6 各方法主运动估计效果 The intentional motion estimation with different methods

通过稳像后视频各帧的图像也可以看出不同的主运动估计方法所呈现出的不同效果。如图7所示，两组处理后的图像序列稳定效果都很好，但是Kalman滤波得到稳像结果灰边比结合算法结果大，说明结合算法得到的主运动与实际视频运动吻合较好，在保证平滑运动的同时，尽可能多的保留图像信息量。图7表示补偿之后的结果。

图 7

Fig. 7

图7 Kalman滤波和快速最优化方法效果比较 The effect comparison of Kalman filtering and the fast optimal method

对L1最优化方法、Kalman滤波方法、快速最优化方法得到的稳像视频以及原始视频计算峰值信噪比，取前200帧数据，得到的统计评价结果见图8。从图8可以看出，经稳像处理后，视频的峰值信噪比有了很明显的提高，说明经稳像后视频质量变好了；还可以看出L1最优化的峰值信噪比最高，说明L1最优化对视频稳像的处理效果最好；Kalman滤波方法与快速最优化方法得到的结果从视觉上看差距不明显，快速最优化方法略高于Kalman滤波法。

图 8

Fig. 8

图8 各方法PSNR评价比较 The PSNR of different methods

图9将视频分成0~500帧、500~1000帧、1000~1500帧、1500~2000帧4个部分，通过统计PSNR的平均值对3种方法的稳像效果进行对比分析。

图 9

Fig. 9

图9 各方法所得PSNR均值数据 The mean PSNR of different methods

由图9可以看出，基本上L1最优化方法处理后的图像峰值信噪比最高，其次是快速最优化方法，最后是Kalman滤波方法。这是由于L1最优化方法是在理论基础上对整个视频的主运动变化进行分析，而Kalman只是实时估计，所使用的有效数据量没有L1最优化方法多，因此效果不如L1最优化方法。快速最优化方法的效果居中，说明其在Kalman滤波法基础上，吸取了L1最优化方法的优点，使精度提高。

表1是各方法的运行时间。可以看出，其中Kalman滤波法用时最短，快速最优化方法相比L1最优化方法运行时间显著缩短。

表1

Table 1

表1

表1 各方法运行时间 The runtime of each method 方法 L1最优化方法 Kalman滤波法 快速最优化方法 运行时间 90 min 100 s 7 min

表1 各方法运行时间 The runtime of each method

综上所述，当图像序列的主运动趋势发生变化时，Kalman滤波需要较长的时间才能将估计的主运动修正到和实际的偏移量的变化趋势一致，因此会与实际图像产生较大偏离，使结果精度变低。而L1最优化方法的效果相比最好，但是无法做到实时处理，并且运算速度较慢。本文提出的将两者结合的算法可以改进Kalman滤波的结果精度，使得结果与全局运动变化趋势符合得较好；同时，相对L1最优化来说，运行效率得到提高，不断缩短与实时处理要求的距离。这种结合的算法对于提高主运动估计的精度和视频稳像的效果具有重大的意义。

本文主要研究了目前的主运动估计算法，根据其模块逐步分析最优算法。用L1最优化与Kalman滤波结合的方法进行主运动分析。该方法将二者优势有机结合，对主运动趋势的变化估计来源于L1最优化方法，因此可以避免稳像处理中趋势预测不准的问题，效果比Kalman滤波好，提高稳像质量，采用分段计算，速度比L1最优化方法快。本文对保证小型无人机视频主运动估计质量和提高处理效率具有重要意义。但本文仍然有一定局限性，具体讨论如下：

(1) 本文从全局运动估计开始就只考虑小型无人机平移的运动部分，没有考虑小型无人机的旋转、升降等复杂运动状态。但若考虑此类复杂运动状态，就不能使用灰度投影法，全局运动估计的时间效率问题就会出现。因此在此部分上仍有很高提升空间。

(2) 在主运动估计方法方面，本文提出的算法相对L1最优化方法效率变高，但是对于实时处理来说仍有困难，仍需进一步改进。本文的解决方法就是考虑分段，但是分段之后的结果与原始未分段的结果精度差异等，还需多加讨论分析。

(3) 由于主运动估计分析的单位是基于像元，因此可以考虑利用整数规划，提高最优化方法速度，提高整个主运动估计方法的实时性。