发布时间 : 星期三 文章数字家庭可视媒体优化显示方法与关键技术研究 - 图文更新完毕开始阅读
Coordinate）[61, 62]、调和坐标（Harmonic Coordinate）[63, 64]和格林坐标（Green Coordinate）[65]等方法为代表的空间变形技术[66]。
(a) (b)
图2-10 (a)三角网格变形方法, (b)空间变形方法。
基于网格变形的图像缩放[67-73]，可以看作是图像变形技术在真实图像变形
[55-57]
方面的一个延伸或特定应用，其主要过程就是将图像区域视作一个二维的几
何平面，首先对该图像进行网格参数化[67, 68]操作，将其参数化为三角形[68-70]、四边形[67, 70, 73]或多边形[72]的网格平面；然后，通过将图像的缩放过程视作网格变形的过程，应用各种网格变形的方法，得到合适的变形后的网格；最后，将源图像以纹理贴图的方式，映射到新的网格上，从而得到缩放后的图像。
(a) (b)
图2-11 基于三角网格变形的图像缩放例子，(a)源图像及其网格，(b)目标图像及其网格。
由于目标网格完全由其所有的边的长度决定，故可以通过求解下列公式（2.12）基于边长的能量方程的最小值来确定目标网格[68]：
El?(QiQj)?Edges?222(wij?||Qi?Qj||2?lij)/lij,
(2.12)
其中由于变形过程中三角网格的朝向可能发生变化，因此定义公式（2.13）中的惩罚系数wij控制三角网格的反转情况[68]：
wij?signmin(det(QiQk1,QjQk1)?det(PPik1,PjPk1)det(QiQk2,QjQk2)?det(PPik2,PjPk2)), (2.13)
公式（2.14）表示在顶点Qi上的梯度能量[68]：
16
?El22?8?(||Qi?Qj||2?lij)?(ui?uj)/lij?ui(QiQj)?Edges?El22?8?(||Qi?Qj||2?lij)?(vi?vj)/lij?vi(QiQj)?Edges (2.14)
最终通过求解公式（2.15）中的约束参数化方程，求得变形后的网格，其中：FB表示图像边界约束，FSA表示图像显著度约束[68]：
argminQi,i?1,...,n(El???EST),s..tFB,FSA?0,
(2.15)
基于网格变形的图像缩放技术优点在于突破了传统数字图像处理思想的束缚，创造性地将二维网格变形技术应用于图像非等比例缩放问题上。利用参数化后的网格进行图像的编辑和操纵，特别注意的是，网格方法解决了源图像重要区域与变形后的目标图像之间的边界融合问题，即从根本上避免了线缝增删方法所存在的图像断裂问题。
图2-12 直线特征和对称特征约束。
同时，基于网格结构的特性，可以为图像增加更多的特征约束条件，如Huang[71]等人就根据图像中的直线特征，构造了以直线特征为基础的对称特征结构，如图2-12所示。
除三角网格外，还可以利用像素图像的自然结构性质构造四边形网格。四边形网格由于符合图像像素排列的特性，因此在创建和操作上更为方便，同时也可根据四边形网格的特性，构造符合其特征的约束。如图2-13 (a)中Wang等人的方法[67]就采用了边长约束来防止网格的弯曲变形和重叠，而图2-13 (b)中Zhang等人的方法[73]就采用了三种类型的控制点来保持重要物体和区域的尺寸。
17
(a) (b)
图2-13 基于四边形网格的约束，(a)边长约束，(b)控制点约束。
2.2.3 基于分块变换与融合的方法
分块变换的思想是将图像分割为重叠或不相重叠的分块图像，然后在空间上通过分块重排的方法，将分块图像按照一定的约束进行重排，然后重建图像，从而得到目标图像。本方法的原理类似于七巧板拼图的原理[74]，图像的非等比例缩放是分块变换方法的其中一个应用。
(a) (b) (c)
图2-14 (a) 源图像，(b) 分块变换的方法，(c) 线缝增删的方法。
CHO T.-S等人提出的“Patch Transform”方法[74]和Pritch Y.等人[75]提出的“Shift-Map”方法，都是基于分块思想[76-78]的图像编辑方面的通用性框架。图2-14 (b)和图2-14 (c)是分别采用“Shift-Map”方法处理和采用线缝增删方法处理的效果对比图。
基于分块的方法可采用图割（GraphCut）思想[79]或数据聚类等图像分割方法进行子块的划分，并将问题转化为如下的求解最小能量函数的问题[75]：
E(M)???Ed(M(p))?p?R(p,q)?N?Es(M(p),M(q)),
(2.16)
定义用于输出图像像素的数据项如下[75]：
Ed(M(u,v))?S(u?tx,v?ty),
(2.17)
18
定义用于图像像素间的平滑项如下[75]：
Es(M)?
(u,v)?R??(R((u,v)?e)?I((u,v)?M(u,v)?e))iiii(u,v)?Ri2????(?R((u,v)?e)??I((u,v)?M(u,v)?e))i2 (2.18)
基于分块的方法的优点在于在分块重排过程中利用了概率统计和双向相似性模型等方法，从而使得该方法的应用不再局限于图像缩放方面，而是可以拓展到图像编辑的多个方面，如图像修复、图像合成等。但又由于受概率方法和双向分块判断的不确定性因素影响，因此，采用分块思想的方法对结果具有不可预测性，尤其容易出现块与块之间重排之后产生无意义或错乱的图像。 2.2.4 基于智能裁剪的方法
图像裁剪[80-83]的思想是将图像通过分类算法划分为不同的区域，各个区域根据视觉关注度模型赋予不同的度量信息，通过将含最小信息量的区域去掉从而实现图像的缩小和重要区域的突出效果。
基于裁剪的方法，对图像中的信息分别进行定义，其中公式（2.19）定义了包含图像重要物体信息的区域[80]：
Tsubj(?)?1???i??i?IM(i)M(i), (2.19)
公式（2.20）定义整幅图像的区域[80]：
Twhole(?)?1M(i), ?||??||i???(2.20)
公式（2.21）定义了被裁剪掉的区域信息[80]：
Tcut(?)?B(??)/||??||,
(2.21)
公式（2.22）定义了所裁剪的比例[80]：
Tplacement(?)?d(Ci)1A(C), ?idmax?A(Ci)ii(2.22)
最终求解由上述条件项组合而成的目标函数T(?)，即可求得结果[80]：
2T(?)?[Tsubj(?),Tsubj(?),Twhole(?),Tcut(?),Tsize(?)]T,
(2.23)
相对而言，基于裁剪的方法具有较大的局限性，只适用于某些特定的场景。
19