多目标优化的多镜头人体运动跟踪方法

摘要

本发明公开了一种多目标优化的多镜头人体运动跟踪方法，主要解决现有技术受训练数据库的限制，跟踪过程的复杂度高，恢复出人体姿态不够准确的问题。其实现过程为：(1)用骨骼抽象的方法建立三维人体骨架模型；(2)预处理视频图像，得到图像上的人体关节点；(3)初始化人体骨架参数；(4)在两个同步镜头下构建相似度函数；(5)用非支配邻域免疫算法优化相似度函数；(6)在优化得到的一组人体骨架中选择最精确的人体骨架作为跟踪结果。该方法适用普遍的视频，采用了两个相似度函数，可以更好的利用视频图像信息，提高了人体运动跟踪的精确度，可用体育训练和动画制作。

主权项

1.一种多目标优化的多镜头人体运动跟踪方法，包括如下步骤：(1)用骨骼抽象的方法建立三维人体骨架模型；(2)预处理人体视频图像2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，形成人体骨架线；2b)在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；2c)在人体侧影图像上使用sobel算子得到图像的灰度值；(3)初始化人体骨架模型3a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，由标定数据设置初始时刻人体姿态对应的人体骨架；3b)将t-1时刻跟踪得到的最精确的人体骨架作为t时刻的初始化人体骨架，t＞0；(4)构建相似度函数4a)将初始化的人体骨架投影到二维图像空间得到每个关节点的坐标位置；4b)建立正面镜头下的距离相似度函数，用于度量人体正面图像的投影关节点与检测关节点间的欧式距离：$f_1\left(V\right)=\underset{i=1}{\overset{15}{\Sigma }}{\left|\right|P_i^{c1}V-z_i\left|\right|}_2,$其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，表示第i个关节点正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；4c)建立侧面镜头下的距离相似度函数，用于度量人体侧面图像的投影关节点与检测关节点间的欧式距离：$f_2\left(V\right)=\underset{i=1}{\overset{15}{\Sigma }}{\left|\right|P_i^{c2}V-z_i\left|\right|}_2,$其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，P^c2表示第i个关节正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；(5)利用非支配邻域免疫算法，对两个距离相似度函数f₁(V)、f₂(V)进行优化，获得t时刻一组与真实人体运动姿态相似的人体骨架；(6)对每一个由步骤(5)得到的人体骨架，计算其与t-1时刻跟踪到的人体骨架的欧式距离，选择出欧式距离最小的人体骨架作为t时刻跟踪到的最精确的人体骨架。