[0065] 以下结合附图实施例对本发明作进一步详细描述。
[0066] 本发明提出的一种立体图像变焦方法，其总体实现框图如图1所示，其包括以下步骤：
[0067] 步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，W和H均能够被2整除，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，{R(x,y)}表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0068] 步骤二：采用现有的SIFT‑Flow方法建立{L(x,y)}与{R(x,y)}之间的匹配关系，得到{L(x,y)}中的每个像素点的SIFT‑Flow向量，将{L(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vL(x,y)， 其中，用于表示水平方向， 用于表示垂直方向， 表示vL(x,y)的水平偏移量， 表示vL(x,y)的垂直偏移量。
[0069] 步骤三：将{L(x,y)}的图像主点的坐标位置记为 将{R(x,y)}的图像主点的坐标位置记为 然后根据{L(x,y)}中坐标位置为
的像素点即{L(x,y)}的图像主点的SIFT‑Flow向量，确定{L(x,y)}中坐标位置为
的像素点即{L(x,y)}的图像主点在{R(x,y)}中匹配的像素点，将该匹配的像素点
的坐标位置记为 并计算{L(x,y)}和{R
(x,y)}的垂直偏差，记为b， 其中， 表示{L(x,y)}中坐标位置为
的像素点即{L(x,y)}的图像主点的SIFT‑Flow向量 的水平偏移量，
表示{L(x,y)}中坐标位置为 的像素点即{L(x,y)}的图像主点的SIFT‑
Flow向量 的垂直偏移量。
[0070] 步骤四：将{L(x,y)}和{R(x,y)}的焦距记为f0，将{L(x,y)}和{R(x,y)}的物距记为 然后根据用户指定的焦距f，计算{L(x,y)}和{R(x,y)}的放大倍数，记为a， 其中，θ为由用户指定的焦距f及{L(x,y)}和{R(x,y)}的物距 确定的像距， θ0为由{L(x,y)}和{R(x,y)}的焦距f0及{L(x,y)}和{R(x,y)}的物距 确定的像距， 在本实施例中取f0＝25.00毫米， 毫米，θ0＝25.32毫米，用户通过改变{L(x,y)}和{R(x,y)}的焦距来调节像距，从而达到图像缩放的目的。
[0071] 步骤五：将{L(x,y)}分割成M个互不重叠的尺寸大小为22×22的四边形网格，将{L(x,y)}中的第k个四边形网格记为UL,k；然后根据{L(x,y)}中的所有四边形网格和{dL(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为22×22的四边形网格，将{R(x,y)}中的第k个四边形网格记为UR,k；其中， 符号 为向下取整运算符号，k为正整数，1≤k≤M，UL,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示UL,k的作为第1个网格顶点的左上网格
顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点， 以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
UR,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，
对应表示UR,k的作为第1个网格顶点的左上网
格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第
4个网格顶点的右下网格顶点， 以 的水平坐标位置 和垂直坐标位置 来描述，
表示{dL(x,y)}中坐标
位置为 的像素点的像素值， 以 的水平坐标位置 和垂直坐标位置 来
描述， 表示{dL(x,y)}中
坐标位置为 的像素点的像素值， 以 的水平坐标位置 和垂直坐标位置
来描述， 表示{dL
(x,y)}中坐标位置为 的像素点的像素值， 以 的水平坐标位置 和垂直
坐标位置 来描述，
表示{dL(x,y)}中坐标位置为 的像素点的像素值。
[0072] 步骤六：根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b，计算{L(x,y)}中的每个四边形网格的期望网格，将UL,k的期望网格记为 同样，根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b，计算{R(x,y)}中的每个四边形网格的期望网格，将UR,k的期望网格记为 其中， 通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示
各自的期望网格顶点， 以 的水平坐标位置 和垂直坐标位置
来描述， 以 的水平坐标位置 和垂直
坐标位置 来描述， 以 的水平坐标位
置 和垂直坐标位置 来描述， 以 的
水平坐标位置 和垂直坐标位置 来描述，
通过其左上、左下、右上和右下4个网格顶点的集合来描述，
对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶
点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示 各自的期望网格顶点， 以 的水平坐标位置 和
垂直坐标位置 来描述， 以 的水平坐
标位置 和垂直坐标位置 来描述， 以
的 水 平 坐标 位 置 和垂 直 坐 标 位 置 来 描 述 ，
以 的水平坐标位置 和垂直坐标位置 来描述，
[0073] 步骤七：{L(x,y)}中的每个四边形网格对应有目标四边形网格，将UL,k对应的目标四边形网格记为 同样，{R(x,y)}中的每个四边形网格对应有目标四边形网格，将UR,k对应的目标四边形网格记为 其中， 通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示 各自的目标网格
顶点， 以 的水平坐标位置 和垂直坐标位置 来描述， 以
的水平坐标位置 和垂直坐标位置 来描述， 以 的水平坐
标位置 和垂直坐标位置 来描述， 以 的水平坐标位置 和
垂直坐标位置 来描述， 通过其左上、左下、右上和右下4个网格顶
点的集合来描述， 对应表示 的作为第1个
网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示 各自对应
的目标网格顶点， 以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
以 的水平坐标位置 和垂直坐标位置 来描述，
[0074] 步骤八：用户通过编辑操作在待处理的立体图像中手工选择对象；然后根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量，记为Eobject， 其中，符号“||||”为求欧氏距离符号，t为正整数，t＝1,2,3,4， 表示 的第t个网格顶点， 表示{L(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合， 表示 的第t个网格顶点， 表示 的第t个网格顶点， 表示{R(x,y)}中落
于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合，表示 的第t个网格顶点。
[0075] 步骤九：根据{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的坐标偏移能量，记为Eedge，其中， 表示{L(x,y)}中落于用户选择的
对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合， 表示{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合。
[0076] 步骤十：根据{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量，记为Eback， 其中，背景区域为待处理的立体图像中除用户选择的对象所在的区域外的区域， 表示{L(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合， 表示{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合。
[0077] 步骤十一：计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的尺寸控制能量，记为Eimport，其中，
表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i
个的网格顶点， 表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点， 表示 对应的目标网格顶点， 表示 对应的目标网格顶点， 表示{R(x,
y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点， 表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点， 表示 对应的目标网格顶点，
表示 对应的目标网格顶点，s表示用户指定的缩放因子，在本实施例中取s＝1，即保持重要内容的原始尺寸。
[0078] 步骤十二：计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的左右一致性能量，记为Edepth，其中， 表示 的水平坐标位
置， 表示 的水平坐标位置， 表示 的垂直坐标位置， 表示 的垂
直坐标位置， 表示{dL(x,y)}中坐标位置为 的像素点的像素值， 表
示UR,k的第t个网格顶点 的水平坐标位置， 表示UR,k的第t个网格顶点 的垂直坐标位置，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，在本实施例中取e＝176.252毫米。
[0079] 步骤十三：根据Eobject、Eedge、Eback、Eimport和Edepth，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为Etotal，Etotal＝λ1Eobject+λ2Eedge+λ3Eback+λ4Eimport+λ5Edepth；然后通过最小二乘优化求解 得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为 及接着计算{L(x,y)}中的每个四边形网格
对应的最佳目标四边形网格的仿射变换矩阵，将UL,k对应的最佳目标四边形网格 的仿射变换矩阵记为
并计算{R(x,y)}中的每个四边形网格对应的最
佳目标四边形网格的仿射变换矩阵，将UR,k对应的最佳目标四边形网格 的仿射变换矩阵记为
其中，λ1、λ2、λ3、λ4、λ5均为加权参数，在本实施例中取λ1＝3、λ1＝4、λ3＝2、λ4＝4、λ5＝1，min()为取最小值函数， 表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合， 表示{R(x,y)}中的所有四边形网格对应的目
标四边形网格构成的集合， 表示UL,k对应的最佳目标四边形网
格， 表示UR,k对应的最佳目标四边形网格， 通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示
的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点， 通过其左上、左下、右上和右下4个网格顶点的集合来描述 ，
对应表示 的第1个网格顶点、第2个网格顶点、第3个网格顶点、第
T T ‑1 T
4个网格顶点，(AL,k) 为AL,k的转置，((AL,k) AL,k) 为(AL,k) AL,k的逆， 和 对应表示的水平坐标位置和垂直坐标位置， 和 对应表示 的水平坐标位置和垂直
坐标位置， 和 对应表示 的水平坐标位置和垂直坐标位置， 和 对应
T T ‑1
表示 的水平坐标位置和垂直坐标位置，(AR,k) 为AR,k的转置，((AR,k) AR,k) 为(AR,k)T
AR,k的逆， 和 对应表示 的水平坐标位置和垂直坐标位置， 和 对应表
示 的水平坐标位置和垂直坐标位置， 和 对应表示 的水平坐标位置和垂
直坐标位置， 和 对应表示 的水平坐标位置和垂直坐标位置。
[0080] 步骤十四：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，将UL,k中水平坐标位置为x'L,k和垂直坐标位置为y'L,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩
阵变换后的水平坐标位置和垂直坐标位置，获取变焦后的左视点图像，记为 其
中，1≤x'L,k≤W，1≤y'L,k≤H， 1≤x'≤W'，1≤y'≤H，W'表示变
焦后的立体图像的宽度，H亦为变焦后的立体图像的高度， 表示 中坐标位
置为(x',y')的像素点的像素值。
[0081] 同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，将UR,k中水平坐标位置为x'R,k和垂直坐标位置为y'R,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩
阵变换后的水平坐标位置和垂直坐标位置，获取变焦后的右视点图像，记为 其
中，1≤x'R,k≤W，1≤y'R,k≤H， 1≤x'≤W'，1≤y'≤H， 表
示 中坐标位置为(x',y')的像素点的像素值。
[0082] 由变焦后的左视点图像和变焦后的右视点图像构成变焦后的立体图像。
[0083] 为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
[0084] 以下就利用本发明方法对Image1、Image2、Image3、Image4和Image5五幅立体图像进行变焦实验。图2a给出了“Image1”的原始立体图像的左视点图像，图2b给出了“Image1”的原始立体图像的右视点图像，图2c给出了“Image1”的焦距f＝27.25毫米的变焦后的立体图像的左视点图像，图2d给出了“Image1”的焦距f＝27.25毫米的变焦后的立体图像的右视点图像，图2e给出了“Image1”的焦距f＝27.99毫米的变焦后的立体图像的左视点图像，图2f给出了“Image1”的焦距f＝27.99毫米的变焦后的立体图像的右视点图像，图2g给出了“Image1”的焦距f＝28.74毫米的变焦后的立体图像的左视点图像，图2h给出了“Image1”的焦距f＝28.74毫米的变焦后的立体图像的右视点图像；图3a给出了“Image2”的原始立体图像的左视点图像，图3b给出了“Image2”的原始立体图像的右视点图像，图3c给出了“Image2”的焦距f＝27.25毫米的变焦后的立体图像的左视点图像，图3d给出了“Image2”的焦距f＝27.25毫米的变焦后的立体图像的右视点图像，图3e给出了“Image2”的焦距f＝
27.99毫米的变焦后的立体图像的左视点图像，图3f给出了“Image2”的焦距f＝27.99毫米的变焦后的立体图像的右视点图像，图3g给出了“Image2”的焦距f＝28.74毫米的变焦后的立体图像的左视点图像，图3h给出了“Image2”的焦距f＝28.74毫米的变焦后的立体图像的右视点图像；图4a给出了“Image3”的原始立体图像的左视点图像，图4b给出了“Image3”的原始立体图像的右视点图像，图4c给出了“Image3”的焦距f＝27.25毫米的变焦后的立体图像的左视点图像，图4d给出了“Image3”的焦距f＝27.25毫米的变焦后的立体图像的右视点图像，图4e给出了“Image3”的焦距f＝27.99毫米的变焦后的立体图像的左视点图像，图4f给出了“Image3”的焦距f＝27.99毫米的变焦后的立体图像的右视点图像，图4g给出了“Image3”的焦距f＝28.74毫米的变焦后的立体图像的左视点图像，图4h给出了“Image3”的焦距f＝28.74毫米的变焦后的立体图像的右视点图像；图5a给出了“Image4”的原始立体图像的左视点图像，图5b给出了“Image4”的原始立体图像的右视点图像，图5c给出了“Image4”的焦距f＝27.25毫米的变焦后的立体图像的左视点图像，图5d给出了“Image4”的焦距f＝27.25毫米的变焦后的立体图像的右视点图像，图5e给出了“Image4”的焦距f＝
27.99毫米的变焦后的立体图像的左视点图像，图5f给出了“Image4”的焦距f＝27.99毫米的变焦后的立体图像的右视点图像，图5g给出了“Image4”的焦距f＝28.74毫米的变焦后的立体图像的左视点图像，图5h给出了“Image4”的焦距f＝28.74毫米的变焦后的立体图像的右视点图像；图6a给出了“Image5”的原始立体图像的左视点图像，图6b给出了“Image5”的原始立体图像的右视点图像，图6c给出了“Image5”的焦距f＝27.25毫米的变焦后的立体图像的左视点图像，图6d给出了“Image5”的焦距f＝27.25毫米的变焦后的立体图像的右视点图像，图6e给出了“Image5”的焦距f＝27.99毫米的变焦后的立体图像的左视点图像，图6f给出了“Image5”的焦距f＝27.99毫米的变焦后的立体图像的右视点图像，图6g给出了“Image5”的焦距f＝28.74毫米的变焦后的立体图像的左视点图像，图6h给出了“Image5”的焦距f＝28.74毫米的变焦后的立体图像的右视点图像。从图2a至图6h中可以看出，采用本发明方法得到的变焦后的立体图像能够较好地保留对象形状，且可以根据用户的选择增加重要对象的尺寸。
