基于线性混合模型的目标对象变形方法

　0 引言
　　 我们通常需要通过计算机技术对图像进行变形，使图像或图像中的特定目标对象动作、角度等发生变形，以达到预期效果。理想的图像变形方法是使变形后的图像无失真、扭曲或违反常理的现象^[1]。
　　 图像的变形主要分为两种：一种是对整幅图像的变形，另一种是对图像中的特定目标对象进行变形^[2]。目前，使用较多的是对目标对象选取3种线性模型：节点、骨架和楔形，然后混合使用模型以对目标对象进行变形^[3]。将上述模型混合后，需要计算其加权融合值，可以采用移动最小平方^[4]、对偶四元数^[5]等方法。但是，这些方法通常有运行缓慢、使用复杂、不支持任意处理或变形不平滑等缺点。
　　 基于上述问题，本文针对二维图像提出了线性混合模型的目标对象变形方法，能够达到很好的变形效果。在线性混合模型权值计算中，对保留区域和非保留区域做了不同的处理。该算法能够产生很好的视觉效果，在变形过程中不会产生扭曲、重叠或畸变等违反自然规律的现象。
　　 变形后的图形图像，替换到目标图像的指定位置并合成到图像中，在虚拟现实中实现不能完成的梦想。
　　1 待变形对象目标提取方法
　　1.1 图像变形种类
　　 在图像处理中，图像的变形有两种：一种是整体图像的变形，另一种是图像中特定目标对象的变形。
　　1.1.1 整体图像变形
　　 整体图像变形，是指将一幅图像平滑地变形到另一幅图形中，是一种基于像素的变形方法，通常采用尺度变换、移动或旋转的方法来完成。变形前后的图像具有一一映射关系，可以用一个仿射变换矩阵^[6]表示。图1就是一种简单的图像变形，只是对原始图像做了旋转操作。
　　图1 整体图像变形
　　 整体图像变形通常可用于图像拼接、异物查找等场合。首先用Harris^[7]、SIFT^[8]等算子求取图像中的特征向量，然后将两幅图像中的特征向量进行配准，用RANSAC算法求取仿射变换矩阵，将其中一幅图像进行变形后即可做图像拼接或差分等处理。
　　1.1.2 目标对象变形
　　 此变形方法是在提取目标对象后对其进行变形，而背景图像保持不变。之所以需要选取目标对象是由于指定的虚拟场景已经存在，只要替换虚拟场景中指定的图形图像，该过程通过少量的图形图像标注，就可以完成整个场景的虚拟变换。
　　 对目标对象的提取采用了基于Hu七阶不变矩的快速定位方法，用分水岭算法进行快速图形图像的分割与提取。在目标对象提取后，使用控制节点对二维目标对象进行变形。这里采用混合仿射转换来定义目标图像的平滑变形。
　　1.2 目标对象提取
　　 目标对象提取是在待处理图像中定位出目标对象，其主要步骤如下：
　　 （1） 选取一张目标对象图像作为模板图，若为彩色图像则先将其转换为灰度图像，然后求取七阶不变矩。
　　七阶不变矩属于低阶矩阵，其（p+q）阶矩为：
　　mpq=∫+∞-∞∫+∞-∞xpyqf（x，y）dxdy（1）
　　 其中（x，y）为灰度图像的像素坐标，f（x，y）为此处的灰度值。中心矩为：
　　μpq=∫+∞-∞∫+∞-∞（x-x）p（y-y）qf（x，y）dxdy（2）
　　 其中x=m10m00，y=m01m00。f（x，y）的归一化矩阵为：
　　ηpq  = μpq μγ00 ，γ=p+q2+1，p，q=1，2，3...（3）
　　 p+q≤3，得到模板图的七阶不变矩为：
　　φ₁=η20+η02（4）
　　2  = （η20  - η02 ）2 + 4η211 （5）
　　φ₃=（η30-3η12）2+（3η21-η03）2（6）
　　φ₄=（η30+η12）2+（η21+η03）2（7）
　　φ₅=（η30-3η12）（η30+η12）[（η30+η12）2-3（η21+η03）2]+
　　（3η21-η03）（η21+η03）[3（η30+η12）2-（η21+η03）2]（8）
　　φ₆=（η20-η02）（η30+η02）2-（η21+η03）2+
　　4η11（η30-η12）（η21+η03） （9）
　　φ₇=（3η21-3η03）（η30+η12）[（η30+η12）2-3（η21+η03）2]-
　　（η30-3η12）（η21+η03）[3（η30+η12）2-（η21+η02）2]（10）
　　 因而，求得模板图的七阶不变矩为F₁=[φ₁，φ₂，φ₃，φ₄，φ₅，φ₆，φ₇]。
　　（1）选取一定大小的窗口，遍历待处理图像，并求取待处理图像的七阶不变矩F₂=[Φ₁，Φ₂，Φ₃，Φ₄，Φ₅，Φ₆，Φ₇]。为便于分析，将不变矩F₁，F₂进行变换：
　　Φi=log10Φi
　　φi=log10φi i=1，2，...，7（11）
　　 定义归一化函数，如式（12），求取两矩阵的相似性度量s，如式（13）。
　　l（x）=x，x<1
　　1/x，x≥1 （12）
　　s=1-∑7i=1l（Φi/φi）/7（13）
　　 通常，s值越接近于0，说明两图像的相似度越高，即匹配精度越高，从而实现目标对象的定位。
　　（
　　2）若相似性度量小于某一特定阈值，遍历结束。否则回到步骤（2）。
　　（3）若遍历结束后仍未定出对象，则改变窗口大小（通常窗口大小为模板图像的0.8～1.2倍），回到步骤（2），继续遍历。
　　根据实验，我们选取s的阈值为0.005。若相似度小于此值，则表明定位成功。
　　2 线性混合模型
　　2.1 三种常见的线性模型
　　（1）节点。节点是一种基本的线性模型，其操作通常是局部平移、旋转或缩放，并对该对象附近的区域进行光滑传播。基于该算法的变形函数通常采用离散特征点插值方法，通过对控制节点的位置移动来完成一一映射。节点对图像的变形有两个步骤：①将图像在横向和纵向两个方向上做变形，同时建立映射关系;②通过映射关系做插值处理，以完成目标对象的变形。
　　目前基于节点的图像变形方法通常采用ARAP（As-Rigid-As- Possible）保刚性算法^[9]：首先在目标对象上建立三角形网格结构，然后最小化结构中所有三角形的失真变形，并建立线性方程组，以获得网格中所有顶点变形后的位置坐标。其操作有快速、直观、简单的优点，但它对某些拓扑结构的变形并不平滑。
　　（2）骨架。骨架主要应用于一些方向比较僵硬且不需要过多变形的部位。若两个节点之间的区域过于柔弱，骨架则会将其转换成一个僵硬的肢体。其处理步骤是：①得到三角形网格，为目标对象配置骨架;②运用正向运动学原理编辑骨架，传递到目标图像上，实现对图像的变形。
　　骨架配置对于目标对象的变形至关重要。在二维图像中，基于骨架的变形通常采用线段的MLS算法^[4]以求取能量函数。基于骨架的目标图像变形可使节点之间进行任意的拉伸，动作较为夸张。虽然基于骨架的变形操作容易，变形灵活、平滑，但其变形时没有一个度且会有相互干扰的情况，易导致失真现象产生。
　　（3） 楔形。节点和骨架通常用于处理二维图像，而楔形主要用于处理三维图像。基于楔形的线性模型会影响目标对象，产生膨胀或腐蚀。
　　2.2 基于线性模型的图像变形
　　本文基于节点加权线型模型，通过加权融合后完成二维目标对象的任意变形。其关键技术是求取线性变换加权值，同时在求取权值的过程中将区域分成保留和非保留两个区域^[10]。目标图像变形流程如图2所示。
　　图2 目标图像变形流程
　　2.2.1 连续混合模型权值计算
　　假设ΩR2为二维图像中给定形状的容量域。Hj为控制句柄，其范围为HjΩ，j=1，...，m。Hj可以是单个的节点、一个区域或是一个骨架。若为骨架，Hj需要包含骨架上所有的节点，每一个Hj句柄对应一个仿射变换矩阵Tj。目标对象中所有节点p的变换均可通过上述加权联合后变换成p'，其中p为原目标对象中的点，p'为变形后图像中的点，wj是与Hj相对应的一个权值。
　　p'=∑mj=1wj（p）Tjp（14）
　　 为使图像变形有平滑、形状感知等特性，本文将权值wj定义为平滑函数最小值，对wj用Laplacian能量函数进行限制，公式如下：
　　argmin∑mj=112∫ΩΔwj2dV（15）
　　wj Hk   = δjk （16）
　　 其中δjk是Kronecker的delta取值。为了计算方便，对wj做归一化处理，为方便变形，只考虑权值的非负值。
　∑mj=1wj（p）=1，p∈Ω
　　0≤wj（p）≤1，j=1，...，m （17）
　　 从公式（15）-（17）中可以看出，基于该线性混合权值的变形具有以下几种特性：
　　（1）非负性。由于在图像变形中，负的权值会导致形状区域朝着相反的方向旋转，可能会出现两个点映射到一个点的情况，操作极为不便，所以本文的权值采用非负值。
　　（2）无局部极大值。 由公式（16）可以看出，wj只在Hj处获得一个全局极大值，不会在其它地方获得局部极大值，这一特性保证了在图像变形中，离操作句柄越近的地方变换越为强烈，远离操作句柄的地方，变化尺度会衰减，这保证了目标对象变形中不会出现意想不到的情况。
　　（3）平滑性。平滑性在图像变形中尤为重要，若图像缺少平滑会产生失真现象。骨架由节点连接，权值wj在节点上会有不连续的值，wj在Hj处值为1，而在相邻的骨架上值为0。节点通常被其所连接的骨架转向同一个地点（p'），因此不会导致平滑问题。
　　通常在变形中，需要保留某些部位（如人的眼睛、鼻子等部位），使其不变形，这里称之为形状保留区域，需添加最小化二乘项^[9]：
　　argmin∑mj=112∫Πρwj2dV（18）
　　 其中ρ为遮蔽物，Π为需要保留的区域。
　　2.2.2 离散混合模型权值计算
　　在实际图像变形中，只用到了有限的线性元素，所以需要将公式（15）做离散化处理。假设对象s是一个给定的二维多线段网格，其骨架上的采样顶点 v=v₁，v₂，...，vn，网格作用域为Ω。当顶点v包含所有离散Hj时，结果是一个三角网格M。假设权值wj表示如下：
　　wj=（w₁，j，w₂，j，...，wn，j）T（19）
　　 将式（15）变化如下：
　　∑mj=112∫ΩΔwj2dV≈∑mj=112（M-1Lwj）TM（M-1Lwj）（20）
　　 其中M是集总质量矩阵，L是余切Laplacian算子。
　　形状保留公式（18）转换如下：
　　∑mj=112∫Πρwj2dV≈∑mj=112wTj（GTRMG）wj（21）
　　 其中G为线性FEM梯度算子^[11]，R为一个对角线矩阵，M为元素质量矩阵。
　　3 实验结果及分析
　　 实验所用计算机配置为Intel i3-2100 CPU，2GB RAM，在Microsoft Visual Studio 2010平台上做仿真实验以验证本文算法的有效性。
　　 图3是待变形的一帧图像，图像像素尺寸为：1024×788。图4为需要变形的目标对象模板，模板图像像素尺寸为：233×566。用基于Hu不变矩快速方法，在大场景帧图像中定位出待变形目标图像如图5所示，像素尺寸为210×509，为模板图像的0.9倍。
　　图3 待变形的帧图像
　　图4 目标对象模板 图5 目标对象定位结果 图6 多边形轮廓提取
　　 将定位出来的目标对象通过分水岭算法，将背景擦出后提取待变形轮廓，如图6所示。从图中可以看出，该轮廓是一个多边形。然后用Shewchuk的二维网格生成方法^[12]对多边形图像进行三角化，结果如图7所示。接着在图中手动输入变型节点，如图8所示。本文在目标对象的脸上输入节点，使其能够柔和变形。
　　 对眼睛、鼻子等需要保留形状的部位和普通部位分别求取离散混合模型权值，根据加权值对目标对象进行变形，变形结果如图9所示。从图中可以看出，人的头抬了起来，背也直起来了，右腿有少许抬起，但对嘴巴、鼻子、眼睛等部位未做过于夸张的变形，变形后的对象比较自然、平滑。若不考虑保留区域而直接进行变形的话，图像会出现严重的失真现象，如图10所示。
　　图7 网格模型 图8 目标对象的节点与骨架 图9 变形结果图像
　　图10 未考虑保留区域的变形 图11 扭曲的变形结果 图12 自由形式变形
　　 本文求取的离散混合权值还具有非负性、平滑性的优点，无局部极大值问题。图11是未考虑非负性问题，导致鼻子的变形方向与嘴巴相反;图12是基于自由形式 变形后的图像，可以看出存在很多不平滑的地方。
　　 最后，将变形后的目标对象（见图9）放入到帧图像中，完成对目标对象的变形处理。
　　图13 变形后的帧图像
　　4 结语
　　 本文首先在待变形的帧图像中用Hu不变矩自动定
　　位出目标对象，采用分水岭算法对目标进行分割与提取，并自动对提取对象的多边形轮廓进行三角化后，手动指定目标对象中的变形节点;然后将区域分为保留和非保留两部分，分别计算离散混合模型权值。实验结果表明，基于线性混合模型的目标对象变形采用加权算法，不会产生扭曲。
　　 本文只是对二维图像做了无失真变形，未对楔形模型和三维图像变形作研究。对三维立体图像的无失真变形研究，可以实现在大片中任意替换主角，实现自己演大片的梦想。
　　参考文献：
　　[1] 吕福起.变形动画中的图形渐变技术研究[D]. 青岛：山东科技大学， 2011.
　　[2] 蔡志峰， 卢汉清， MARC JAEGER. 用弹性混合模型解决图像变形匹配问题[J]. 中国图像图形学报， 2003， 8（7）：753-758.
　　[3] MAGNENAT-THALMANN N，LAPERRIERE R，THALMANN -dependent local deformations for hand animation and object grasping[C].In Proceeding on Graphics Interface， 1988：26-33.