【中国发明,中国发明授权】一种立体图像内容重组方法

有权-审定授权 中国

申请号:
CN201810555934.X
专利权人:
宁波大学
授权公告日/公开日:
2019.10.25
专利有效期:
2018.06.01-2038.06.01
技术分类:
H04:电通信技术
转化方式:
转让
价值度指数:
57.0分
价格:
¥14500.00
2232 0

发布人

深圳龙图腾科技成果转化有限公司

联系人丁工

18156017870
2850394575@qq.com
2850394575
18156017870
合肥市高新区创新产业园二期J2区18楼
  • 专利信息&法律状态
  • 专利自评
  • 专利技术文档
  • 价值度指数
  • 发明人阵容

著录项

申请号
CN201810555934.X
申请日
20180601
公开/公告号
CN108833876A
公开/公告日
20181116
申请/专利权人
[宁波大学]
发明/设计人
[邵枫, 柴雄力, 李福翠]
主分类号
H04/N13106
IPC分类号
C12N 9/0008(2013.01) C12N 9/16
CPC分类号
C12N 9/0008(2013.01) C12N 9/16(2013.01)
分案申请地址
国省代码
浙江(33)
颁证日
G06T1/00
代理人
[周珏]

摘要

本发明公开了一种立体图像内容重组方法,其通过提取立体图像的左视点图像和右视点图像对应的图像质量能量、对象缩放能量、位置调整能量和视差适应能量,并通过优化使得总能量最小,获取最佳相似变换矩阵,这样可使得内容重组后的立体图像能够保留精确的对象形状、具有较高的深度感,且可以根据用户的选择自适应地控制重要内容的位置和大小,符合显著语义特征;其通过控制立体图像中的用户选择的聚类对象和其他聚类对象中的Delaunay网格的坐标位置,并进而控制Delaunay网格的形变,从而能够保证内容重组后的立体图像的视觉体验质量。

法律状态

法律状态公告日 20231010
法律状态 专利申请权、专利权的转移
法律状态信息 专利权的转移
IPC(主分类):H04N 13/106
专利号:ZL201810555934X
登记生效日:20230919
变更事项:专利权人
变更前权利人:宁波大学
变更后权利人:深圳龙图腾科技成果转化有限公司
变更事项:地址
变更前权利人:315211 浙江省宁波市江北区风华路818号
变更后权利人:518000 广东省深圳市罗湖区笋岗街道笋岗东路3002号万通大厦22层2202室
法律状态公告日 20191025
法律状态 授权
法律状态信息 授权
法律状态公告日 20181211
法律状态 实质审查的生效
法律状态信息 实质审查的生效
IPC(主分类):H04N 13/106
申请日:20180601
法律状态公告日 20181211
法律状态 实质审查的生效
法律状态信息 实质审查的生效
IPC(主分类):H04N 13/106
申请日:20180601
法律状态公告日 20181116
法律状态 公开
法律状态信息 公开
法律状态公告日 20181116
法律状态 公开
法律状态信息 公开
事务数据公告日 20231010
事务数据类型 专利申请权、专利权的转移
转让详情 专利权的转移
IPC(主分类):H04N 13/106
专利号:ZL201810555934X
登记生效日:20230919
变更事项:专利权人
变更前权利人:宁波大学
变更后权利人:深圳龙图腾科技成果转化有限公司
变更事项:地址
变更前权利人:315211 浙江省宁波市江北区风华路818号
变更后权利人:518000 广东省深圳市罗湖区笋岗街道笋岗东路3002号万通大厦22层2202室
暂无数据

权利要求

权利要求数量(6

独立权利要求数量(1

1.一种立体图像内容重组方法,其特征在于包括以下步骤:

步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值;

步骤二:采用基于图论的视觉显著模型提取出{L(x,y)}的显著图,记为{SM(x,y)};然后根据{SM(x,y)}和{d(x,y)},获取{L(x,y)}的视觉显著图,记为{S(x,y)};接着根据{S(x,y)}和{d(x,y)},获取{R(x,y)}的视觉显著图,记为{S(x,y)};其中,SM(x,y)表示{SM(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值;

步骤三:将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格,将{L(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格和{d(x,y)},获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格,将{R(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k为正整数,1≤k≤M,M表示{L(x,y)}中包含的Delaunay网格的总个数,M>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值;

步骤四:采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割,得到{L(x,y)}中的所有聚类对象,进而得到{L(x,y)}中的每个聚类对象的对象掩膜,将{L(x,y)}中的第n个聚类对象的对象掩膜记为O;设定用户选择了{L(x,y)}中的第n个聚类对象,则根据{L(x,y)}中的所有Delaunay网格,将Q中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述,其中,n为正整数,1≤n≤N,N表示{L(x,y)}中的聚类对象的总个数,N>1,k”为正整数,1≤k”≤M”,M”表示Q中包含的Delaunay网格的总个数,M”>1,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,

步骤五:将用户提供的参考对象掩膜记为P;然后将P分割成多个互不重叠的不规则的Delaunay网格,将P中的第k'个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k'为正整数,1≤k'≤M',M'表示P中包含的Delaunay网格的总个数,M'>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,

步骤六:在用户选择了{L(x,y)}中的第n个聚类对象的基础上,计算O与P的对象水平偏移量、对象垂直偏移量和对象缩放因子,对应记为和ρ,其中,表示水平方向,表示垂直方向,表示O中的所有Delaunay网格的所有网格顶点中的第t个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示O中的所有Delaunay网格构成的集合,也表示O中的所有Delaunay网格的所有网格顶点构成的集合,V表示P中的所有Delaunay网格构成的集合,也表示P中的所有Delaunay网格的所有网格顶点构成的集合,1≤t'≤N,表示O中的所有Delaunay网格的网格顶点的总个数,N表示P中的所有Delaunay网格的网格顶点的总个数,符号“| |”为取绝对值符号;

步骤七:{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{L(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆;

同样,{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{R(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A,k)为(A)A的逆;

步骤八:根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,并结合{S(x,y)}和{S(x,y)},计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量,记为E;

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,记为E;

根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量,记为E;

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量,记为E;

步骤九:根据E、E、E和E,计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量,记为E,E=E+λ×E+λ×E+λ×E;然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格,将U对应的最佳目标Delaunay网格记为将U对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为其中,λ为E的加权参数,λ为E的加权参数,λ为E的加权参数,min()为取最小值函数,表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置;

步骤十:根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的左视点图像,记为其中,1≤x'≤W,1≤y'≤H,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值;

同样,根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的右视点图像,记为其中,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。

2.根据权利要求1所述的一种立体图像内容重组方法,其特征在于所述的步骤二中,S(x,y)=S(x+d(x,y),y);其中,表示SM(x,y)的权重,表示d(x,y)的权重,S(x+d(x,y),y)表示{S(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。

3.根据权利要求1或2所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:

A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值,符号“||||”为求欧氏距离符号;

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值;

B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

C、根据和计算E,其中,λ为加权参数。

4.根据权利要求3所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:其中,表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,符号“|| ||”为求欧氏距离符号,e表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示的所有网格顶点的边缘组成的矩阵,表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,e表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。

5.根据权利要求4所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:其中,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。

6.根据权利要求5所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:,其中,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示除O外的其他所有对象掩膜构成的集合,表示中的所有Delaunay网格的网格顶点的总个数,表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示中的所有Delaunay网格的所有网格顶点构成的集合。

1.一种立体图像内容重组方法,其特征在于包括以下步骤: 步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值; 步骤二:采用基于图论的视觉显著模型提取出{L(x,y)}的显著图,记为{SM(x,y)};然后根据{SM(x,y)}和{d(x,y)},获取{L(x,y)}的视觉显著图,记为{S(x,y)};接着根据{S(x,y)}和{d(x,y)},获取{R(x,y)}的视觉显著图,记为{S(x,y)};其中,SM(x,y)表示{SM(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值; 步骤三:将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格,将{L(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格和{d(x,y)},获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格,将{R(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k为正整数,1≤k≤M,M表示{L(x,y)}中包含的Delaunay网格的总个数,M>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值; 步骤四:采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割,得到{L(x,y)}中的所有聚类对象,进而得到{L(x,y)}中的每个聚类对象的对象掩膜,将{L(x,y)}中的第n个聚类对象的对象掩膜记为O;设定用户选择了{L(x,y)}中的第n个聚类对象,则根据{L(x,y)}中的所有Delaunay网格,将Q中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述,其中,n为正整数,1≤n≤N,N表示{L(x,y)}中的聚类对象的总个数,N>1,k”为正整数,1≤k”≤M”,M”表示Q中包含的Delaunay网格的总个数,M”>1,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述, 步骤五:将用户提供的参考对象掩膜记为P;然后将P分割成多个互不重叠的不规则的Delaunay网格,将P中的第k'个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k'为正整数,1≤k'≤M',M'表示P中包含的Delaunay网格的总个数,M'>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述, 步骤六:在用户选择了{L(x,y)}中的第n个聚类对象的基础上,计算O与P的对象水平偏移量、对象垂直偏移量和对象缩放因子,对应记为和ρ,其中,表示水平方向,表示垂直方向,表示O中的所有Delaunay网格的所有网格顶点中的第t个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示O中的所有Delaunay网格构成的集合,也表示O中的所有Delaunay网格的所有网格顶点构成的集合,V表示P中的所有Delaunay网格构成的集合,也表示P中的所有Delaunay网格的所有网格顶点构成的集合,1≤t'≤N,表示O中的所有Delaunay网格的网格顶点的总个数,N表示P中的所有Delaunay网格的网格顶点的总个数,符号“| |”为取绝对值符号; 步骤七:{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{L(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆; 同样,{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{R(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A,k)为(A)A的逆; 步骤八:根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,并结合{S(x,y)}和{S(x,y)},计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量,记为E; 根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,记为E; 根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量,记为E; 根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量,记为E; 步骤九:根据E、E、E和E,计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量,记为E,E=E+λ×E+λ×E+λ×E;然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格,将U对应的最佳目标Delaunay网格记为将U对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为其中,λ为E的加权参数,λ为E的加权参数,λ为E的加权参数,min()为取最小值函数,表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置; 步骤十:根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的左视点图像,记为其中,1≤x'≤W,1≤y'≤H,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值; 同样,根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的右视点图像,记为其中,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。 2.根据权利要求1所述的一种立体图像内容重组方法,其特征在于所述的步骤二中,S(x,y)=S(x+d(x,y),y);其中,表示SM(x,y)的权重,表示d(x,y)的权重,S(x+d(x,y),y)表示{S(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。 3.根据权利要求1或2所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为: A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值,符号“||||”为求欧氏距离符号; 同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值; B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵, 同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵, C、根据和计算E,其中,λ为加权参数。 4.根据权利要求3所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:其中,表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,符号“|| ||”为求欧氏距离符号,e表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示的所有网格顶点的边缘组成的矩阵,表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,e表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。 5.根据权利要求4所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:其中,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。 6.根据权利要求5所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的E的计算过程为:,其中,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示除O外的其他所有对象掩膜构成的集合,表示中的所有Delaunay网格的网格顶点的总个数,表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示中的所有Delaunay网格的所有网格顶点构成的集合。

说明书

技术领域

本发明涉及一种图像信号的处理方法,尤其是涉及一种立体图像内容重组方法。

背景技术

随着3D技术的快速发展,立体图像和立体视频越来越受到人们的关注和喜爱。特别是随着手机、平板和个人电脑的发展,移动端的显示越来越受到用户们的欢迎。然而,在移动端屏幕上显示立体图像和立体视频时,立体感会随之减弱甚至消失,内容制造者试图通过调整内容布局和深度来使观看者将注意力集中在该对象上,以提升该对象的立体感。因此,对于在移动端屏幕上显示立体图像和立体视频时,内容重组可以增强该对象的关注度和深度感。

传统的图像内容重组大致可分为两类:前一类方法是对影响图像美感的因素,如色彩、光线、线条、构图等进行调整,以增强图像美观度;后一类方法是直接通过对象提取和粘贴,将不同对象重组到同一图像上。对于立体图像内容重组,如何减少内容重组后的立体图像的图像形变,如何根据用户的选择自适应地控制对象的尺寸以突出显著内容,如何保证内容重组后的立体图像的深度一致性,都是在对立体图像进行内容重组过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种符合显著语义特征,且能够有效地调整立体图像内容布局的立体图像内容重组方法。

本发明解决上述技术问题所采用的技术方案为:一种立体图像内容重组方法,其特征在于包括以下步骤:

步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值;

步骤二:采用基于图论的视觉显著模型提取出{L(x,y)}的显著图,记为{SM(x,y)};然后根据{SM(x,y)}和{d(x,y)},获取{L(x,y)}的视觉显著图,记为{S(x,y)};接着根据{S(x,y)}和{d(x,y)},获取{R(x,y)}的视觉显著图,记为{S(x,y)};其中,SM(x,y)表示{SM(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值;

步骤三:将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格,将{L(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格和{d(x,y)},获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格,将{R(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k为正整数,1≤k≤M,M表示{L(x,y)}中包含的Delaunay网格的总个数,M>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值;

步骤四:采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割,得到{L(x,y)}中的所有聚类对象,进而得到{L(x,y)}中的每个聚类对象的对象掩膜,将{L(x,y)}中的第n个聚类对象的对象掩膜记为O;设定用户选择了{L(x,y)}中的第n个聚类对象,则根据{L(x,y)}中的所有Delaunay网格,将Q中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述,其中,n为正整数,1≤n≤N,N表示{L(x,y)}中的聚类对象的总个数,N>1,k”为正整数,1≤k”≤M”,M”表示Q中包含的Delaunay网格的总个数,M”>1,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,步骤五:将用户提供的参考对象掩膜记为P;然后将P分割成多个互不重叠的不规则的Delaunay网格,将P中的第k'个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k'为正整数,1≤k'≤M',M'表示P中包含的Delaunay网格的总个数,M'>1,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,

步骤六:在用户选择了{L(x,y)}中的第n个聚类对象的基础上,计算O与P的对象水平偏移量、对象垂直偏移量和对象缩放因子,对应记为和ρ,其中,表示水平方向,表示垂直方向,表示O中的所有Delaunay网格的所有网格顶点中的第t个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示O中的所有Delaunay网格构成的集合,也表示O中的所有Delaunay网格的所有网格顶点构成的集合,V表示P中的所有Delaunay网格构成的集合,也表示P中的所有Delaunay网格的所有网格顶点构成的集合,1≤t'≤N,表示O中的所有Delaunay网格的网格顶点的总个数,N表示P中的所有Delaunay网格的网格顶点的总个数,符号“||”为取绝对值符号;

步骤七:{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{L(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆;

同样,{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{R(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆;

步骤八:根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,并结合{S(x,y)}和{S(x,y)},计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量,记为E;

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,记为E;

根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量,记为E;

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量,记为E;

步骤九:根据E、E、E和E,计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量,记为E,E=E+λ×E+λ×E+λ×E;然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格,将U对应的最佳目标Delaunay网格记为将U对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为其中,λ为E的加权参数,λ为E的加权参数,λ为E的加权参数,min()为取最小值函数,表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置;

步骤十:根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的左视点图像,记为其中,1≤x'≤W,1≤y'≤H,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值;

同样,根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的右视点图像,记为其中,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。

所述的步骤二中,S(x,y)=S(x+d(x,y),y);其中,表示SM(x,y)的权重,表示d(x,y)的权重,S(x+d(x,y),y)表示{S(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。

所述的步骤八中的E的计算过程为:

A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值,符号“|| ||”为求欧氏距离符号;

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值;

B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

C、根据和计算E,其中,λ为加权参数。

所述的步骤八中的E的计算过程为:其中,表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,符号“|| ||”为求欧氏距离符号,e表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示的所有网格顶点的边缘组成的矩阵,表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,e表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。

所述的步骤八中的E的计算过程为:其中,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。

所述的步骤八中的E的计算过程为:

其中,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示除O外的其他所有对象掩膜构成的集合,表示中的所有Delaunay网格的网格顶点的总个数,表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示中的所有Delaunay网格的所有网格顶点构成的集合。

与现有技术相比,本发明的优点在于:

1)本发明方法通过提取立体图像的左视点图像和右视点图像对应的图像质量能量、对象缩放能量、位置调整能量和视差适应能量,并通过优化使得总能量最小,获取最佳相似变换矩阵,这样可使得内容重组后的立体图像能够保留精确的对象形状、具有较高的深度感,且可以根据用户的选择自适应地控制重要内容的位置和大小,符合显著语义特征。

2)本发明方法通过控制立体图像中的用户选择的聚类对象和其他聚类对象中的Delaunay网格的坐标位置,并进而控制Delaunay网格的形变,从而能够保证内容重组后的立体图像的视觉体验质量。

附图说明

图1为本发明方法的总体实现框图;

图2a为“Image1”的原始立体图像的“红/绿”图;

图2b为“Image1”经内容重组后的“红/绿”图;

图3a为“Image2”的原始立体图像的“红/绿”图;

图3b为“Image2”经内容重组后的“红/绿”图;

图4a为“Image3”的原始立体图像的“红/绿”图;

图4b为“Image3”经内容重组后的“红/绿”图;

图5a为“Image4”的原始立体图像的“红/绿”图;

图5b为“Image4”经内容重组后的“红/绿”图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像内容重组方法,其总体实现框图如图1所示,其包括以下步骤:

步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤二:采用现有的基于图论的视觉显著(Graph-Based Visual Saliency,GBVS)模型提取出{L(x,y)}的显著图,记为{SM(x,y)};然后根据{SM(x,y)}和{d(x,y)},获取{L(x,y)}的视觉显著图,记为{S(x,y)};接着根据{S(x,y)}和{d(x,y)},获取{R(x,y)}的视觉显著图,记为{S(x,y)};其中,SM(x,y)表示{SM(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中,步骤二中,S(x,y)=S(x+d(x,y),y);其中,表示SM(x,y)的权重,表示d(x,y)的权重,在本实施例中取S(x+d(x,y),y)表示{S(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。

步骤三:将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格,将{L(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格和{d(x,y)},获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格,将{R(x,y)}中的第k个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k为正整数,1≤k≤M,M表示{L(x,y)}中包含的Delaunay网格的总个数,M>1,M的数值根据图像的大小而定,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,

表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{d(x,y)}中坐标位置为的像素点的像素值。

步骤四:采用现有的K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割,得到{L(x,y)}中的所有聚类对象,进而得到{L(x,y)}中的每个聚类对象的对象掩膜,将{L(x,y)}中的第n个聚类对象的对象掩膜记为O;设定用户选择了{L(x,y)}中的第n个聚类对象,则根据{L(x,y)}中的所有Delaunay网格,将Q中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述,其中,n为正整数,1≤n≤N,N表示{L(x,y)}中的聚类对象的总个数,N>1,N的大小根据不同的图像内容而定,k”为正整数,1≤k”≤M”,M”表示Q中包含的Delaunay网格的总个数,M”>1,M”的数值根据Q的大小而定,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,

步骤五:将用户提供的参考对象掩膜记为P;然后将P分割成多个互不重叠的不规则的Delaunay网格,将P中的第k'个Delaunay网格记为U,U以其3个网格顶点构成的集合来描述,其中,k'为正整数,1≤k'≤M',M'表示P中包含的Delaunay网格的总个数,M'>1,M'的数值根据P的大小而定,对应表示U的第1个网格顶点、第2个网格顶点、第3个网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,

步骤六:在用户选择了{L(x,y)}中的第n个聚类对象的基础上,计算O与P的对象水平偏移量、对象垂直偏移量和对象缩放因子,对应记为和ρ,其中,表示水平方向,表示垂直方向,表示O中的所有Delaunay网格的所有网格顶点中的第t个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点,表示的水平坐标位置,表示的垂直坐标位置,表示O中的所有Delaunay网格构成的集合,也表示O中的所有Delaunay网格的所有网格顶点构成的集合,V表示P中的所有Delaunay网格构成的集合,也表示P中的所有Delaunay网格的所有网格顶点构成的集合,1≤t'≤N,表示O中的所有Delaunay网格的网格顶点的总个数,N表示P中的所有Delaunay网格的网格顶点的总个数,符号“||”为取绝对值符号。

步骤七:{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{L(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆。

同样,{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将U对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述,然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{R(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将的相似变换矩阵记为其中,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,表示的第i个网格顶点,i=1,2,3,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(A)为A的转置,((A)A)为(A)A的逆。

步骤八:根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,并结合{S(x,y)}和{S(x,y)},计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量,记为E。

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,记为E。

根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量,记为E。

根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量,记为E。

在此具体实施例中,步骤八中的E的计算过程为:

A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值,符号“|| ||”为求欧氏距离符号。

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为其中,S(k)表示U中的所有像素点的视觉显著值的均值,也即表示{S(x,y)}中与U对应的区域中的所有像素点的像素值的均值。

B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为其中,e表示U的所有网格顶点的边缘组成的矩阵,(e)为e的转置,((e)e)为(e)e的逆,表示的所有网格顶点的边缘组成的矩阵,

C、根据和计算E,其中,λ为加权参数,在本实施例中取λ=2。

在此具体实施例中,步骤八中的E的计算过程为:其中,表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,符号“|| ||”为求欧氏距离符号,e表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示的所有网格顶点的边缘组成的矩阵,表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,e表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。

在此具体实施例中,步骤八中的E的计算过程为:其中,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。

在此具体实施例中,步骤八中的E的计算过程为:

,

其中,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示除O外的其他所有对象掩膜构成的集合,表示中的所有Delaunay网格的网格顶点的总个数,表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点,表示的视差值,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置,表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置,表示中的所有Delaunay网格的所有网格顶点构成的集合。

步骤九:根据E、E、E和E,计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量,记为E,E=E+λ×E+λ×E+λ×E;然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格,将U对应的最佳目标Delaunay网格记为将U对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将的最佳相似变换矩阵记为其中,λ为E的加权参数,λ为E的加权参数,λ为E的加权参数,在本实施例中取λ=4、λ=20、λ=2,min()为取最小值函数,表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置。

步骤十:根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的左视点图像,记为其中,1≤x'≤W,1≤y'≤H,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。

同样,根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将U中水平坐标位置为x'和垂直坐标位置y'的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的右视点图像,记为其中,1≤x'≤W,1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。

为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。

以下就利用本发明方法对Image1、Image2、Image3和Image4四幅立体图像进行内容重组实验。图2a给出了“Image1”的原始立体图像的“红/绿”图,图2b给出了“Image1”经内容重组后的“红/绿”图;图3a给出了“Image2”的原始立体图像的“红/绿”图,图3b给出了“Image2”经内容重组后的“红/绿”图;图4a给出了“Image3”的原始立体图像的“红/绿”图,图4b给出了“Image3”经内容重组后的“红/绿”图;图5a给出了“Image4”的原始立体图像的“红/绿”图,图5b给出了“Image4”经内容重组后的“红/绿”图。从图2a至图5b中可以看出,采用本发明方法得到的内容重组后的立体图像能够较好地保留对象形状,且可以根据用户的选择进行内容位置和大小的重组操作。

价值度评估

技术价值

经济价值

法律价值

0 0 0

57.0

0 50 75 100
0~50 50~75 75~100 价值较低 中等价值 价值较高

专利价值度是通过科学的评估模

型对专利价值进行量化的结果,

基于专利大数据针对专利总体特

征指标利用计算机自动化技术对

待评估专利进行高效、智能化的

分析,从技术、经济和法律价值

三个层面构建专利价值评估体

系,可以有效提升专利价值评估

的质量和效率。

总评:57.0


该专利价值中等 (仅供参考)

        该专利的技术、经济、法律价值经系统自动评估后的总评得分处于平均水平,可以重点研究利用其技术价值,根据法律价值的评估结果选择合适的使用借鉴方式。
        本专利文献中包含【1 个实施例】、【2 个技术分类】,从一定程度上而言上述指标的数值越大可以反映出所述专利的技术保护及应用范围越广。 【专利权的维持时间6 年】专利权的维持时间越长,其价值对于权利人而言越高。 尤其重要是,该专利 【权利转移1 次】、 都从侧面反应出该专利的技术、经济和法律价值。

技术价值    29.0

该指标主要从专利申请的著录信息、法律事件等内容中挖掘其技术价值,专利类型、独立权利要求数量、无效请求次数等内容均可反映出专利的技术性价值。 技术创新是专利申请的核心,若您需要进行技术借鉴或寻找可合作的项目,推荐您重点关注该指标。

部分指标包括:

授权周期(发明)

16 个月

独立权利要求数量

1 个

从属权利要求数量

1 个

说明书页数

18 页

实施例个数

1 个

发明人数量

3 个

被引用次数

0 次

引用文献数量

0 个

优先权个数

0 个

技术分类数量

2 个

无效请求次数

0 个

分案子案个数

0 个

同族专利数

0 个

专利获奖情况

保密专利的解密

经济价值    9.0

该指标主要指示了专利技术在商品化、产业化及市场化过程中可能带来的预期利益。 专利技术只有转化成生产力才能体现其经济价值,专利技术的许可、转让、质押次数等指标均是其经济价值的表征。 因此,若您希望找到行业内的运用广泛的热点专利技术及侵权诉讼中的涉案专利,推荐您重点关注该指标。

部分指标包括:

申请人数量

1

申请人类型

院校

许可备案

0 次

权利质押

0 次

权利转移

1 个

海关备案

法律价值    19.0

该指标主要从专利权的稳定性角度评议其价值。专利权是一种垄断权,但其在法律保护的期间和范围内才有效。 专利权的存续时间、当前的法律状态可反映出其法律价值。故而,若您准备找寻权属稳定且专利权人非常重视的专利技术,推荐您关注该指标。

部分指标包括:

存活期/维持时间

6

法律状态

有权-审定授权