发明名称 基于移动视点与异形屏幕的投影图像实时校正方法
摘要 本发明公开了一种基于移动视点与异形屏幕的投影图像实时校正方法,包括步骤(1):在异形屏幕上投影外波段的点阵图像;步骤(2):在当前视点位置上从外波段的点阵图像上捕捉单帧视见图像点阵图;步骤(3):通过捕捉到的单帧视见图像点阵图进行拟合投影过程,得到原图像点阵图的畸变矩阵和投影过程中的过度图像;步骤(4):校正原图像点阵图的位置和像素,得到校正后的单帧图像;步骤(5):在异形屏幕上投影校正后的单帧图像;步骤(6):重复步骤(1)~步骤(5),在异形屏幕上实时投影校正后的图像。本发明利用持续监控异形屏幕上的图像,所有的处理都在极短时间内完成,有效保证了实时性。
申请公布号 CN104902201B 申请公布日期 2016.06.08
申请号 CN201510358610.3 申请日期 2015.06.25
申请人 山东大学 发明人 杨义军;杨力群;杨天持;侯鲁;田李昊;杨承磊;孟祥旭;曾薇
分类号 H04N5/74(2006.01)I;H04N9/31(2006.01)I 主分类号 H04N5/74(2006.01)I
代理机构 济南圣达知识产权代理有限公司 37221 代理人 赵妍
主权项 一种基于移动视点与异形屏幕的投影图像实时校正方法,其特征在于,包括:步骤(1):在异形屏幕上投影红外波段的点阵图像;步骤(2):在当前视点位置上从红外波段的点阵图像上捕捉单帧视见图像点阵图;步骤(3):通过对捕捉到的单帧视见图像点阵图进行拟合投影过程,得到原图像点阵图的畸变矩阵和投影过程中的过度图像点阵图;步骤(4):校正原图像点阵图的位置和像素,得到校正后的单帧图像;在异形屏幕上投影校正后的单帧图像;步骤(5):重复步骤(1)~步骤(4),在异形屏幕上实时投影校正后的图像;所述步骤(3)的具体过程为:步骤(3.1):利用对应点匹配算法来确定原图像点阵图与视见图像点阵图的对应关系,得到原图像点阵图与视见图像点阵图的匹配对应点;步骤(3.2):根据原图像点阵图与视见图像点阵图的匹配对应点,将原图像空间和视见图像空间分割为一一对应的若干个三角形区域,得到原图像点阵图的畸变矩阵D<sub>1</sub>:D<sub>1</sub>=A<sup>‑1</sup>B<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>A</mi><mo>=</mo><mfenced open = "(" close = ")"><mtable><mtr><mtd><msub><mi>x</mi><mn>1</mn></msub></mtd><mtd><msub><mi>x</mi><mn>2</mn></msub></mtd><mtd><msub><mi>x</mi><mn>3</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>1</mn></msub></mtd><mtd><msub><mi>y</mi><mn>2</mn></msub></mtd><mtd><msub><mi>y</mi><mn>3</mn></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000960076690000011.GIF" wi="373" he="230" /></maths><maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>B</mi><mo>=</mo><mfenced open = "(" close = ")"><mtable><mtr><mtd><msubsup><mi>x</mi><mn>1</mn><mo>&prime;</mo></msubsup></mtd><mtd><msubsup><mi>x</mi><mn>2</mn><mo>&prime;</mo></msubsup></mtd><mtd><msubsup><mi>x</mi><mn>3</mn><mo>&prime;</mo></msubsup></mtd></mtr><mtr><mtd><msubsup><mi>y</mi><mn>1</mn><mo>&prime;</mo></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>2</mn><mo>&prime;</mo></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>3</mn><mo>&prime;</mo></msubsup></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000960076690000012.GIF" wi="390" he="230" /></maths>其中,A为期望图像点阵图;B为视见图像点阵图;x<sub>1</sub>、x<sub>2</sub>、x<sub>3</sub>、y<sub>1</sub>、y<sub>2</sub>、y<sub>3</sub>、x′<sub>1</sub>、x′<sub>2</sub>、x′<sub>3</sub>、y′<sub>1</sub>、y′<sub>2</sub>和y′<sub>3</sub>均为整数;步骤(3.3):根据原图像点阵图O的畸变矩阵D<sub>1</sub>,得到投影过程中的过度图像点阵图C为:C=OD<sub>1</sub><sup>‑1</sup>;所述步骤(4)的具体过程为:步骤(4.1):确定视见图像点阵图的最优投影区域,最优投影区域为y′<sub>max</sub>、y′<sub>min</sub>、x′<sub>min</sub>和x′<sub>max</sub>所围成的区域;其中,y′<sub>max</sub>为视见图像点阵图中上边界y坐标最小的点;y′<sub>min</sub>为视见图像点阵图中下边界y坐标最大的点;x′<sub>min</sub>为视见图像点阵图中左边界x坐标最大的点;x′<sub>max</sub>为视见图像点阵图中右边界x坐标最小点;步骤(4.2):利用确定的视见图像点阵图的最优投影区域边界,获取预校正后图像点阵图O′的投影位置:HC<sup>T</sup>=O′<sup>T</sup><maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>H</mi><mo>=</mo><mfenced open = "(" close = ")"><mtable><mtr><mtd><mi>h</mi></mtd><mtd><mn>0</mn></mtd><mtd><msubsup><mi>x</mi><mi>min</mi><mo>&prime;</mo></msubsup></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>h</mi></mtd><mtd><msubsup><mi>y</mi><mi>min</mi><mo>&prime;</mo></msubsup></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000960076690000021.GIF" wi="389" he="231" /></maths><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>h</mi><mo>=</mo><mi>m</mi><mi>i</mi><mi>n</mi><mo>{</mo><mfrac><mrow><msubsup><mi>y</mi><mi>max</mi><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>y</mi><mi>min</mi><mo>&prime;</mo></msubsup></mrow><mrow><msub><mi>y</mi><mi>max</mi></msub><mo>-</mo><msub><mi>y</mi><mi>min</mi></msub></mrow></mfrac><mo>,</mo><mfrac><mrow><msubsup><mi>x</mi><mi>max</mi><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>min</mi><mo>&prime;</mo></msubsup></mrow><mrow><msub><mi>x</mi><mi>max</mi></msub><mo>-</mo><msub><mi>x</mi><mi>min</mi></msub></mrow></mfrac><mo>}</mo></mrow>]]></math><img file="FDA0000960076690000022.GIF" wi="678" he="159" /></maths>其中,C表示过度图像点阵图;y<sub>max</sub>、y<sub>min</sub>、x<sub>min</sub>和x<sub>max</sub>表示预校正后图像点阵图的边界值;步骤(4.3):利用三角区域仿射变换与拼接算法处理预校正后图像点阵图,生成校正后的单帧图像,并实时投影在异形屏幕上;原图像点阵图指的是在投影仪内储存的点阵图像;期望图像点阵图指的是希望在异形屏幕上得到的点阵图像;视见图像点阵图指的是未经处理的打到异形屏幕上的点阵图像。
地址 250061 山东省济南市历下区经十路17923号