一种反射式全景成像系统及方法

摘要

本发明公开了一种反射式全景成像系统及方法，将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上；选择相机进入拍摄模式；分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；对图像进行特征点的提取、筛选及匹配；进行图像配准、拼接、融合；选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备。本发明可以拍摄完整的全景画面，可以保证视频流同步，更容易得到全景视频。

主权项

一种反射式全景成像方法，其特征在于，该反射式全景成像方法包括以下步骤：将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，打开相机；选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择预览模式，则读取相机的实时预览视频流；分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像矫正是去除部分畸变以及Lens Shading，色彩校正是对于色温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消除；对图像进行特征点的提取、筛选及匹配，提取算法检测到特征点的位置，并通过对特征点的描述，找到该点在另一幅画面中相对应的特征点，形成特征点匹配对；进行图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到两组鱼眼镜头的相对位置关系，以及两个半球画面的重叠区域；即I₁＝K[R|T]K^‑1I₂，其中I₁与I₂表示通过特征点匹配找到的第一及第二鱼眼镜头所对应画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数，而[R|T]则是需要计算的相机相对位置关系，相对位置关系描述成旋转R和平移T组成的数学模型；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备屏幕上。