发明名称 全景视觉系统与方法
摘要 一种失真经校正之全景视觉系统及方法,其提供一种经由广角光学元件拍摄,且投射至一观视表面上之视觉正确之复合影像。该系统系使用影像拍摄装置来拍摄高达360度或4π球面度宽之景物。一种影像处理器可校正亮度不均或彩度不均,以及对各个影像图框施加空间转换。空间转换系经由链接视觉转换、获取几何及光学失真转换、以及显示几何及光学转换而叠积。该失真校正系对红、绿、及蓝分色分开施加,来消除光学元件之横向色差。然后使用一种显示系统来显示所得复合影像于一显示装置上,然后经由投射光学元件而投射至一观视表面上。所得影像不含视觉失真,且匹配该观视表面之特征。
申请公布号 TWI287402 申请公布日期 2007.09.21
申请号 TW094121880 申请日期 2005.06.29
申请人 希里康欧普迪克斯股份有限公司 发明人 李 路易;维基里 玛索德
分类号 H04N7/14(2006.01) 主分类号 H04N7/14(2006.01)
代理机构 代理人 恽轶群 台北市松山区南京东路3段248号7楼;陈文郎 台北市松山区南京东路3段248号7楼
主权项 1.一种具有相关联之摄影机、显示光学元件、及 几何特性之全景视觉系统,该系统包含: (a)多个影像拍摄装置,来由一景物拍摄影像图框资 料以及产生影像感测器输入,该影像图框资料集合 涵盖高达360度视野,该影像拍摄装置具有几何失真 及光学失真参数; (b)一耦接至该多个影像拍摄装置之数位化器,来取 样且将该等影像图框资料及影像感测器输入转换 成为数位影像资料; (c)一耦接至该数位化器之影像处理器,包含: (i)一影像测量装置,来接收该数位影像资料,且测 量该影像亮度之直方图及与该数位影像资料相关 联之周围光线位准; (ii)一耦接至该影像测量装置之亮度校正模组,来 接收该数位影像资料连同接收该摄影机、显示器 光学装置及几何特性、影像亮度之直方图、及周 围光线位准,且校正亮度不均,以及最佳化于该数 位影像资料内部之所选区域之亮度范围; (iii)一耦接至该亮度校正模组之叠积阶段,来组合 包括影像感测器输入、摄影机、显示光学元件、 及几何特性,以及其中相关瑕疵等几何失真及光学 失真参数,来形成叠积后之失真参数; (iv)一耦接至该叠积阶段之失真校正模组,来基于 该等叠积后之失真参数而产生失真校正转换,以及 应用该等失真校正转换至该数位影像资料,来产生 校正后之数位影像资料; (v)一耦接至该失真校正模组之显示控制器,来由该 校正后之数位影像资料合成一复合影像;以及 (d)一耦接至该影像处理器之显示器系统,来显示该 复合影像于一观视用之观视表面上,该复合影像系 不含视觉失真。 2.如申请专利范围第1项之全景视觉系统,其中该影 像处理器适合分别处理与该数位影像资料相关联 之红、绿、及蓝分色来校正横向色差及失真。 3.如申请专利范围第2项之全景视觉系统,其中该亮 度校正模组系分别处理红、绿、及蓝分色来校正 彩度不均。 4.如申请专利范围第1项之全景视觉系统,其中多个 影像拍摄装置及数位化器系藉多部数位摄影机实 作。 5.如申请专利范围第3项之全景视觉系统,其中该显 示器系统为光投射系统;以及其中该等几何失真及 光学失真参数经链接来前置校正相关联之几何失 真及光学失真。 6.如申请专利范围第3项之全景视觉系统,进一步包 含至少一个周围光线感测器、至少一个点亮信号 、以及至少一个使用者调光器开关,其中该显示器 系统之亮度系根据该周围光线感测器、分开点亮 信号、及使用者调光器开关中之至少一者来调整 。 7.如申请专利范围第3项之全景视觉系统,进一步包 含一控制器,其中该控制器系适合用来中继一组使 用者参数至该全景视觉系统,来基于选定之观视函 数与偏好集合,来链接该等使用者参数与失真参数 。 8.如申请专利范围第3项之全景视觉系统,进一步包 含耦接至该影像处理器之一控制介面,其系适合接 收及中继使用者输入信号及控制参数。 9.如申请专利范围第3项之全景视觉系统,其中该影 像处理器进一步适合发送曝光控制命令给该等影 像拍摄装置用于光圈控制及曝光时间控制。 10.如申请专利范围第3项之全景视觉系统,进一步 包含一观视表面,其中该复合影像于该观视表面之 位置及尺寸系可根据一使用者输入集合来调整。 11.如申请专利范围第3项之全景视觉系统,其系设 置作为一车辆视觉系统。 12.如申请专利范围第11项之全景视觉系统,其中该 显示器系统系适合于位在汽车内部之驾驶人前方 视野形成一复合影像,换言之该显示器系统系于下 列组成之组群中之至少一者上:仪器板、挡风玻璃 、车顶、及仪表板。 13.如申请专利范围第12项之全景视觉系统,其中该 显示器系统系适合于挡风玻璃及仪表板之内部角 落上之二观视面上形成一复合影像来模拟车辆侧 镜。 14.如申请专利范围第11项之全景视觉系统,其中该 复合影像之焦点系落至与位在该车辆内部之驾驶 人相关联之前视野焦深之内。 15.如申请专利范围第11项之全景视觉系统,其中该 显示器系统之焦点实际上为无限。 16.如申请专利范围第11项之全景视觉系统,其中该 全景视觉系统系根据选自下列组成之组群之输入 而于不同组配结构间重新组构:转向信号、传动系 统、煞车系统、方向盘系统、及速度计。 17.如申请专利范围第16项之全景视觉系统,其中该 显示器系统系适合于车辆转向灯设定为右转时增 强车辆右方观视,而当车辆转向信号设定为左转时 增强车辆左方观视。 18.如申请专利范围第16项之全景视觉系统,其中该 显示器系统系适合于车辆方向盘转向右一个预设 角度时增强车辆之右侧观视,于车辆方向盘转向左 一个预设角度时增强车辆之左侧观视。 19.如申请专利范围第16项之全景视觉系统,其中该 显示器系统系适合于车辆反向动作时,增强车辆之 后方观视。 20.如申请专利范围第16项之全景视觉系统,其中该 视觉系统系适合于直接视线受到邻近物体的障碍 时,增强由车辆前方及后方之角隅侧向观视中之至 少一者。 21.如申请专利范围第20项之全景视觉系统,进一步 包含雷射及雷达感测器中之至少一者;以及其中该 影像处理器进一步适合使用该等感测器来检测车 辆外部与一物体间之距离,且当车辆外部与该物体 间之距离系落入由车辆速度所界定之极限范围以 内时,提供音讯及视讯警告。 22.如申请专利范围第21项之全景视觉系统,其中该 显示器系统系组配来经由透过摄影机拍摄二维,以 及根据线道样式及镶边石样式及物体询查资料库 来外推至第三维,显示如同由车顶观视之车辆及其 周遭环境。 23.如申请专利范围第20项之全景视觉系统,其中该 影像处理器进一步适合检测道路、线道、及镶边 石边缘记号中之至少一者,以及当车辆外部趋近于 该等边缘记号时发出音讯及视讯警告。 24.如申请专利范围第23项之全景视觉系统,其中该 影像处理器进一步适合检测一目的地区之位置,以 及提供方向指标于该显示器系统上,来导引该车辆 移动至目的地区。 25.如申请专利范围第11项之全景视觉系统,进一步 包含选自下列组成之组群中之至少一者:周围光感 测器、点亮中之大灯感测器、及驾驶人调光器开 关;以及其中与该显示器系统相关联之亮度及对比 度系根据周围光感测器、点亮中之大灯感测器、 及驾驶人调光器开关中之至少一者之读取数値来 调整。 26.如申请专利范围第11项之全景视觉系统,进一步 包含一保全黑盒子装置及一触发器装置用来记录 于该触发器被作动前后定义之一段时间相关联之 全部数位影像资料,该触发器系适合由下列组成之 组群中之至少一者作动:使用者、撞击、劫车、及 窃盗。 27.如申请专利范围第11项之全景视觉系统,进一步 包含一整合式全球卫星定位系统(GPS)导航单元,其 允许道路图及路旁资讯显示于该显示器系统上。 28.如申请专利范围第3项之全景视觉系统,进一步 包含多个监视感测器,该系统系设置作为监视视觉 系统。 29.如申请专利范围第28项之全景视觉系统,其中该 影像处理器进一步适合用于使用该监视感测器来 执行移动检测及物体追踪。 30.如申请专利范围第28项之全景视觉系统,其中该 影像处理器系适合当藉监视感测器检测得移动时, 提供一组视讯信号及音讯信号。 31.如申请专利范围第26项之全景视觉系统,其中该 影像处理器进一步适合定义一组指定保护区,追踪 多个物体,以及当该物体进入指定保护区内部时产 生音讯警告及视讯警告;以及其中该显示器系统经 重新组构来于该等物体进入指定之保护区内部时 强调该物体。 32.如申请专利范围第3项之全景视觉系统,进一步 包括一组音讯感测器,其中该数位化器系进一步适 合将该音讯感测器输入转换成为数位音讯资料,该 系统系设置有一视讯会议视觉系统。 33.如申请专利范围第32项之全景视觉系统,其中该 影像处理器及显示器系统进一步适合根据由该视 讯会议使用者所产生之音讯信号强度及方向,来产 生及显示一视讯会议使用者之经变焦的影像。 34.一种使用全景视觉系统来提供全景视觉之方法, 该全景视觉系统具有摄影机、显示光学元件及几 何特性,以及几何失真及光学失真参数,来产生涵 盖高达360度或4球面度之一复合影像,该方法包 含: (a)由一景物拍摄影像图框资料,该影像图框资料集 合涵盖高达360度或4球面度视野,以及产生一影 像感测器输入集合; (b)将该影像图框资料及影像感测器输入转换成为 数位影像资料,该数位影像资料系与一影像亮度直 方图、及周围光线位准相关联; (c)获得该摄影机、显示光学元件及几何特性、影 像亮度直方图、及周围光线位准,以及校正亮度之 非均匀,来最佳化于该数位影像资料内部之选定区 之亮度范围; (d)叠积包括影像感测器输入、摄影机、显示光学 元件、及几何特性,以及其中相关瑕疵等几何失真 及光学失真参数,来形成叠积后之失真参数; (e)对该数位影像资料产生且施加失真校正转换,该 失真校正转换系基于叠积后之几何失真及光学失 真参数,来产生校正后之数位影像资料; (f)由该校正后之数位影像资料合成一复合影像;以 及 (g)显示该复合影像于一观视用之观视表面上,该复 合影像系不含视觉失真。 35.如申请专利范围第34项之方法,进一步分别处理 该数位影像资料之红、绿、及蓝分色来校正横向 色差失真。 36.如申请专利范围第35项之方法,其中亮度调整系 对红、绿、及蓝分色各自分别进行来校正彩度不 均。 37.如申请专利范围第36项之方法,其中该校正转换 系经由下列步骤达成: (i)获得涵盖该几何失真及光学失真参数之整个空 间之一网格资料集合; (ii)运算与(i)之网格上各个资料集合相对应之一校 正转换;以及 (iii)内差相邻网格转换来匹配对应于一特定影像 之影像转换参数。 38.如申请专利范围第37项之方法,其中(i)及(ii)系离 线执行,以及针对个别影像图框校正存取一转换。 39.如申请专利范围第37项之方法,其中(i)及(ii)系于 不等条件下动态进行。 40.如申请专利范围第37项之方法,其中与转换相关 联之一像素映射图系透过卷曲映射图来表示。 41.如申请专利范围第40项之方法,其中该等卷曲映 射图系就递增多项式及位置多项式中之一者加以 参数化。 42.如申请专利范围第36项之方法,进一步产生曝光 控制命令以及中继该曝光控制命令至多个影像拍 摄装置。 43.如申请专利范围第36项之方法,进一步包括接收 控制及使用者参数来与失真参数叠积。 44.如申请专利范围第36项之方法,进一步包括移动 检测及追踪。 45.如申请专利范围第43项之方法,进一步包含根据 感测器之使用者输入来调整该复合影像之亮度、 对比度及大小。 46.如申请专利范围第43项之方法,进一步根据一控 制输入之集合来重新组构一显示器系统。 47.如申请专利范围第43项之方法,进一步根据一控 制参数集合来调整该复合影像之焦距。 48.一种用于一全景视觉系统之影像处理器,该全景 视觉系统具有相关联之摄影机、显示器光学特性, 及几何失真及光学失真参数,该全景视觉系统使用 多个影像拍摄装置来由一场景拍摄影像图框,以及 产生数位影像资料及影像感测器输入,以及使用一 数位化器来转换该数位影像资料及该影像感测器 输入成为数位影像资料,该影像处理器包含: (a)一影像测量装置,来接收该数位影像资料,且测 量该影像亮度之直方图及与该数位影像资料相关 联之周围光线位准; (b)一耦接至该影像测量装置之亮度校正模组,来接 收该数位影像资料连同接收该摄影机、显示器光 学特性、该影像亮度之直方图、及该周围光线位 准,且校正亮度不均,以及最佳化于该数位影像资 料内部之所选区域之亮度范围; (c)一耦接至该亮度校正模组之叠积阶段,来组合包 括影像感测器输入、摄影机、显示器光学元件、 及几何特性,以及其中相关瑕疵等几何失真及光学 失真参数,来形成叠积后之失真参数; (d)一耦接至该叠积阶段之失真校正模组,来基于该 等叠积后之失真参数而产生失真校正转换,以及应 用该等失真校正转换至该数位影像资料,来产生校 正后之数位影像资料;以及 (e)一耦接至该失真校正模组之显示控制器,来由该 校正后之数位影像资料合成一复合影像。 49.如申请专利范围第48项之影像处理器,进一步适 合分别处理与该数位影像资料相关联之红、绿、 及蓝分色来校正横向色差及失真。 50.如申请专利范围第49项之影像处理器,其中该亮 度校正模组系分别处理红、绿、及蓝分色来校正 彩度不均。 51.如申请专利范围第50项之影像处理器,进一步适 合产生曝光控制命令,及中继该曝光控制命令至影 像拍摄装置。 52.如申请专利范围第50项之影像处理器,进一步适 合接收控制参数及使用者参数来与失真参数叠积 。 53.如申请专利范围第50项之影像处理器,进一步适 合用于移动检测及追踪功能。 54.如申请专利范围第50项之影像处理器,进一步适 合根据多个感测器及一使用者输入集合来调整该 复合影像之亮度、对比度、及尺寸。 55.如申请专利范围第52项之影像处理器,进一步适 合根据一控制输入集合来重新组构一显示器系统 。 56.如申请专利范围第52项之影像处理器,进一步适 合根据一控制参数集合来调整该复合影像之焦距 。 图式简单说明: 第1图表示根据本发明之一种视觉系统及其组成元 件之整体视图; 第2A图表示第1图之影像处理器作为视觉系统之一 部分之结构; 第2B图表示第1图之影像处理器之流程逻辑; 第3A图表示带有侧视用及后视用镜之习知车辆; 第3B图表示于视觉系统之车辆实例之摄影机之范 例设定及其视图; 第3C图表示于视觉系统之车辆实例之摄影机之选 定视图; 第4A图表示于车辆视觉系统实例中,视觉系统显示 器之观视表面; 第4B图表示于一车辆视觉系统实例中,当从事右转 信号时于第4A图相同之观视表面; 第5A图表示于车辆视觉系统实例中,视觉系统显示 器之观视表面之另一广角视图; 第5B图表示当车辆于倒车时,第5A图之经重新组构 之观视表面; 第6A图表示当车辆变换车道时经重新组构后之显 示画面; 第6B图表示当车辆右转而驾驶员之视线受障碍时 经重新组构后之显示画面; 第7图表示显示该车辆及相邻物体之一顶视图显示 画面; 第8图表示于一车辆视觉系统之控制输入实例; 第9A图表示于一视讯会议视觉系统实例,设置于会 议桌中央之一半球形180度(2球面度)视野摄影机 之视图; 第9B图表示于视讯会议视觉系统实例之显示画面; 第10图表示一走廊或建筑物墙壁有两部摄影机安 装于壁面上作为监视系统实例之一部分; 第11A图表示本发明之监视系统实例之显示画面;以 及 第11B图表示第9A图于稍后时间之相同显示画面。
地址 美国