发明名称 基于民用IPC的双向实时车辆底盘图像合成方法
摘要 本发明提供了基于民用IPC的双向实时车辆底盘图像合成方法,其中实时处理数据帧序列并进行拼接,包括以下步骤:步骤(1),取得IPC数据帧,根据IPC畸变参数进行数据帧校正并提取候选配准区域;步骤(2),计算相邻数据帧偏移增量;步骤(3),偏移增量修正后融合拼接;步骤(4),循环执行步骤(1)~(3)直到收到停止拼接信号。本发明满足了大多数应用场合。本发明中的控制方法使得车辆底盘拼接自动实时完成,杜绝漏检发生,所得车底盘图像完整,清晰度高分辨率达数百万像素,支持双向实时拼接,适应大多数应用场景。
申请公布号 CN103986912B 申请公布日期 2017.04.12
申请号 CN201410217514.2 申请日期 2014.05.21
申请人 南京大学 发明人 路通;邢润;赵荣
分类号 H04N7/18(2006.01)I;H04N5/262(2006.01)I 主分类号 H04N7/18(2006.01)I
代理机构 江苏圣典律师事务所 32237 代理人 胡建华
主权项 基于民用IPC的双向实时车辆底盘图像合成方法,采用民用IPC成像系统,从IPC获取实时数据帧序列,实时处理数据帧序列并进行拼接;其特征在于,所述实时处理数据帧序列并进行拼接,包括以下步骤:步骤(1),取得IPC数据帧,根据IPC畸变参数进行帧校正并提取候选配准区域;步骤(2),计算相邻数据帧偏移增量;步骤(3),偏移增量修正后融合拼接;步骤(4),循环执行步骤(1)~(3)直到收到停止拼接信号;所述步骤(2)计算相邻数据帧偏移增量中,使用一个8×8的区域配准模板M<sub>8×8</sub>完成数据帧偏移增量的计算,对于数据帧P,其区域配准模板每个单元格计算方法是:<maths num="0001"><math><![CDATA[<mrow><msub><mi>M</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><msubsup><mi>x</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mn>0</mn></msubsup><mo>&le;</mo><mi>x</mi><mo>&lt;</mo><msubsup><mi>x</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mi>t</mi></msubsup></mrow><mrow><msubsup><mi>y</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mn>0</mn></msubsup><mo>&le;</mo><mi>y</mi><mo>&lt;</mo><msubsup><mi>y</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mi>t</mi></msubsup></mrow></munderover><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>,</mo><mn>1</mn><mo>&le;</mo><mi>i</mi><mo>&le;</mo><mn>8</mn><mo>,</mo><mn>1</mn><mo>&le;</mo><mi>j</mi><mo>&le;</mo><mn>8</mn><mo>,</mo></mrow>]]></math><img file="FDA0001162093020000011.GIF" wi="1382" he="254" /></maths>其中,M<sub>P</sub>(i,j)为M<sub>P</sub>的第i行第j列单元格的灰度值总和,M<sub>P</sub>为数据帧P对应的配准模板,该配准模板对应一个矩形区域,其8×8等分后所得每个单元格也对应一个矩形区域;令M<sub>P</sub>(i,j)对应矩形区域的左上角和右下角的坐标分别为<img file="FDA0001162093020000012.GIF" wi="189" he="78" />和<img file="FDA0001162093020000013.GIF" wi="211" he="68" />G(x,y)为数据帧P对应的灰度图在点(x,y)处的灰度值,M<sub>P</sub>(i,j)左上角和右下角的坐标关系为:<maths num="0002"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msubsup><mi>x</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mi>t</mi></msubsup><mo>=</mo><msubsup><mi>x</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mn>0</mn></msubsup><mo>+</mo><mfrac><mrow><mi>&rho;</mi><mi>W</mi></mrow><mn>8</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msubsup><mi>y</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mi>t</mi></msubsup><mo>=</mo><msubsup><mi>y</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mn>0</mn></msubsup><mo>+</mo><mi>s</mi><mi>p</mi><mi>a</mi><mi>n</mi></mrow></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math><img file="FDA0001162093020000014.GIF" wi="605" he="342" /></maths>W为数据帧宽度,模板参数span=4,ρ=0.8;同一配准模板内,相邻模板单元格坐标关系计算公式为:<img file="FDA0001162093020000021.GIF" wi="549" he="423" />且<img file="FDA0001162093020000022.GIF" wi="550" he="294" />数据帧候选配准区域左上角和右下角坐标分别为(0,Y<sub>0</sub>)和(W‑1,Y<sub>t</sub>);相邻两帧的配准模板差距为对应模板单元格灰度值总和之差的平方和累积,对于n个连续的数据帧中组成的数据帧序列P<sub>1</sub>,P<sub>2</sub>,P<sub>3</sub>,...,P<sub>k</sub>,P<sub>k+1</sub>,...,P<sub>n‑1</sub>,P<sub>n</sub>,其中相邻两帧P<sub>k</sub>和P<sub>k+1</sub>的模板差距D(d)计算方法是:<maths num="0003"><math><![CDATA[<mrow><mi>D</mi><mrow><mo>(</mo><mi>d</mi><mo>)</mo></mrow><mo>=</mo><munder><mo>&Sigma;</mo><mrow><mn>1</mn><mo>&le;</mo><mi>j</mi><mo>&le;</mo><mn>8</mn></mrow></munder><mo>{</mo><mrow><munder><mo>&Sigma;</mo><mrow><mn>1</mn><mo>&le;</mo><mi>i</mi><mo>&le;</mo><mn>8</mn></mrow></munder><msub><mi>&omega;</mi><mi>i</mi></msub><msup><mrow><mo>&lsqb;</mo><msubsup><mi>M</mi><msub><mi>P</mi><mi>k</mi></msub><mi>d</mi></msubsup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>M</mi><msub><mi>P</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub></msub><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mn>2</mn></msup></mrow><mo>}</mo><mo>,</mo></mrow>]]></math><img file="FDA0001162093020000023.GIF" wi="1277" he="195" /></maths>其中,k取区间[1,n‑1]内整数,<img file="FDA0001162093020000024.GIF" wi="104" he="60" />为数据帧P<sub>k+1</sub>的配准模板,<img file="FDA0001162093020000025.GIF" wi="243" he="79" />表示数据帧P<sub>k+1</sub>中向下偏移0处的配准模板,即在候选配准区域中间位置的匹配模板,<img file="FDA0001162093020000026.GIF" wi="94" he="77" />表示数据帧P<sub>k</sub>中向下偏移d处的配准模板,ω={0.7,0.8,0.9,1.0,1.0,0.9,0.8,0.7}对应横向8个配准模板单元格的权值,<img file="FDA0001162093020000027.GIF" wi="181" he="70" />为<img file="FDA0001162093020000028.GIF" wi="85" he="78" />的第i行第j列单元格的灰度值总和,<img file="FDA0001162093020000029.GIF" wi="201" he="62" />为<img file="FDA00011620930200000210.GIF" wi="114" he="77" />的第i行第j列单元格的灰度值总和;设模板差距最小值D<sub>min</sub>=min{D(0),D(1),...,D(l)},l为数据帧P<sub>k</sub>的配准模板<img file="FDA00011620930200000211.GIF" wi="91" he="70" />候选配准区域内可达到的最大偏移增量,则该最小值的首次出现D(d′)=D<sub>min</sub>,D(d′)对应的d′,即为最佳偏移增量。
地址 210023 江苏省南京市栖霞区仙林大道163号,南京大学