复杂场景下人体表面三维重建方法

摘要

本发明涉及一种复杂场景下人体表面三维重建方法，基于鲁棒的图像前景提取和信息融合理论自动提取人体表面的三维信息，首先从各个摄像机采集到的多视角图像中提取人体目标的前景图像，计算出图像中各个点属于前景和背景的概率，获得前景相似概率图，再融合各幅视图的信息，计算出空间体素被人体占据的概率，进而重建人体三维表面。本发明具有易于实现、鲁棒性强、精确度高、重建速度快等优点，可以为在人机交互，虚拟现实，人体信息数字化，人体运动分析等相关应用领域提供快速可靠的人体表面三维信息。

主权项

1、一种复杂场景下人体表面三维重建方法，其特征在于包括如下具体步骤：1)采用多路摄像机从不同角度对人体运动进行视频采集；2)把从各个摄像机采集到的图像读入计算机，将第一帧的整个图像作为图像感兴趣区域，将第一帧的整个人体目标活动空间作为空间感兴趣区域；3)在图像感兴趣区域内进行背景建模，按下式计算每个像素点的前景概率，$P(b_r^p=0|I_r^p)=1-\frac{P\left(I_r^p\right|b_r^p=1)P(b_r^p=1)}{P\left(I_r^p\right|b_r^p=1)P(b_r^p=1)+P\left(I_r^p\right|b_r^p=0)P(b_r^p=0)}$上式中，$P(b_r^p=0)$代表在r视图中像素点p是前景的先验概率，$P(b_r^p=1)$代表在r视图中像素点p是背景的先验概率，$P\left(I_r^p\right|b_r^p=1)$代表在像素属于背景的条件下像素所在点颜色的概率分布，$P\left({I_r}^p\right|b_r^p=0)$代表在像素属于前景的条件下像素所在点颜色的概率分布；根据每个像素点的前景概率，得到人体目标前景相似概率图；4)在空间感兴趣区域内对多幅图像的信息进行融合，按下式计算空间中每个三维体素被人体占据的概率：$P(S_i=1|{\left\{I\right\}}_r)=\frac{P\left({\left\{I\right\}}_r\right|S_i=1)P(S_i=1)}{P\left({\left\{I\right\}}_r\right|S_i=1)P(S_i=1)+P\left({\left\{I\right\}}_r\right|S_i=0)P(S_i=0)}$上式中，P(S_i＝1)代表三维体素i被前景占据的概率；P(S_i＝0)代表三维体素i未被前景占据的概率；P({I}_r|S_i＝1)代表三维体素i被占据的条件下其在r幅图像上投影的颜色概率分布，用上一步得到的前景相似概率图来模拟；P({I}_r|S_i＝0)表示三维体素i未被占据的条件下其在r幅图像上投影的颜色概率分布，用单高斯背景建模的方法得到；5)对空间中每个三维体素被人体占据的概率进行滤波和二值化，去除代表人体内部的体素，获得人体表面三维体素；对投影到图像中同一区域的若干个三维体素，以图像中此区域的颜色作为距离图像平面最近的三维体素的颜色；由此获得当前帧的人体表面三维体素的坐标和颜色信息；6)以当前帧的人体表面三维体素在图像平面的投影为基础，构成一个矩形区域作为下一帧的图像感兴趣区域；以当前帧三维体素所在空间为基础，构成一个立方体区域作为下一帧的空间感兴趣区域；采用步骤3)、4)、5)的方法，获取下一帧的人体表面三维体素的坐标和颜色信息；直至完成复杂场景下人体表面三维重建。