一种基于相似帧比较的立体图像合成系统

摘要

本发明公开了一种基于相似帧比较的立体图像合成系统，系统从与目标图像的二维图像在时间上有连续关系的一段视频帧中选取与该二维图像拥有同一系列背景的前后各x帧图像进行相似帧比较，找到合适的像素值填补到目标图像的空洞中，再由填补完空洞的多张不同视角的图像合成立体图像。因是以不同时间的像素值做填补，填补空洞的像素值是完全真实存在而非猜测，所生成的图像比传统方法更加真实，且不需做复杂的运算，运行时间较短。

主权项

一种基于相似帧比较的立体图像合成系统，其特征在于：其包括：一内存单元，用于存储整个立体图像合成系统运行所需的相关数据，供系统内各单元调用；一深度图产生单元，根据输入图像生成对应的深度图；当深度图产生单元的输入图像为左图像与右图像的两视角图像时，对两幅图像进行深度信息的采集，产生一幅对应的深度图，再将深度图像和对应的二维图像传输到图像变形单元；当深度图产生单元的输入图像为深度图和对应的二维图像时，则深度图产生单元不运作，将深度图和对应的二维图像传输到图像变形单元；一图像变形单元，根据深度图产生单元输入的一张二维图像及其对应的深度图的参数，经过图像变形得到多张具有不同视差并含有空洞的二维图像和对应的空洞图像，将多张含有空洞的二维图像作为目标图像与对应的空洞图像一起存入内存单元；一相似帧比较单元，从内存单元调入目标图像的二维图像，并读取与目标图像的二维图像在时间上有连续关系的一段视频帧，从中选取与目标图像的二维图像拥有同一系列背景的前后各x帧图像，x为小于或等于8的正整数，用结构相似性方法将目标图像的二维图像先与前后x帧图像中距离最远的图像进行比较，依次向内一一进行相似帧的判断，将得到的相似帧的值存入内存单元中，待前后x帧图像分别与目标图像的二维图像比较结束后，根据所得的相似帧的值，进行相似性范围的判断；当有满足相似性判定范围的前后帧图像时，将满足在范围内的前后帧图像及其对应的深度图像存入内存单元；当没有满足相似性判定范围的帧或只有一边满足相似性判定范围时，将离目标图像的二维图像最近的前后两帧图像及其对应的深度图像存入内存单元，在空洞填补单元另作处理；一空洞填补单元，基于相似帧比较后所得的前后帧图像及其对应的深度图像，对多张不同视角含有空洞的目标图像一一进行空洞填补，当有满足相似性判定范围的前后帧图像时，从内存单元调用相似帧比较单元得到的满足在范围内的前后帧图像及其对应的深度图和目标图像及其对应的空洞图像，比较前后帧图像对应的深度图的深度值大小，取深度值小的深度图像对应的二维图像的像素值对目标图像中的空洞进行填补；当没有满足相似性判定范围的前后帧图像或只有一边满足相似性判定范围时，则调用离目标图像的二维图像最近的前后两帧图像及其对应的深度图像和目标图像及其对应的空洞图像，比较离目标图像的二维图像最近的前后两帧图像对应深度图的深度值大小，取深度值小的深度图对应的二维图像的像素值对目标图像的空洞进行填补；将生成多张不同视角的图像输出到裸眼屏像素合成单元。一裸眼屏像素合成单元，接收空洞填补单元中填补完空洞的多张不同视角的图像，将多张不同视角的图像合并成一张立体图像，并从显示装置输出。