一种基于单目视频的人体关节自动标注方法

摘要

本发明提出了一种单目视频中的人体关节自动标注方法。实现步骤为前景检测并将前景作为感兴趣区域进行保存，人体区域确定、部分分割以及剪影外轮廓获取，人体骨架获取及骨架关键点获取，利用脸部与手部的相对位置进行人体姿态粗略估计，人体关节点自动标注。在自动标注过程中，综合利用人体剪影轮廓信息、肤色信息以及由剪影获得的骨架信息，能够保证关节点提取的准确性。本发明能够进行准确有效的人体部分分割，并能得到各个肢体部分的姿态信息，对下一步人体特征向量的获取与处理工作提供有利条件。

主权项

一种基于单目视频的人体关节自动标注方法，其特征在于包括以下步骤：步骤1.前景检测：使用摄像机获取人体运动的视频并进行预处理：背景建模，获取前景区域；为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就只对感兴趣区域进行处理；步骤2.人体区域确定与分割：(1)人体剪影获取；对步骤1中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像；计算剪影的面积，去除小的噪点及干扰目标；(2)剪影轮廓获取及归一化：使用边缘检测的方法对剪影图像进行处理，获得剪影的轮廓；同时计算轮廓重心所在位置；使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一；步骤3.人体骨架获取与处理：(1)对步骤2中的人体剪影进行距离变换处理，得到细化骨架；(2)骨架特征点提取：首先检测细化骨架中的交点、分叉点作为候选关键点，然后对细化骨架图像利用霍夫变换进行直线检测；步骤4.根据脸部和手的相对位置进行人体姿态的粗略估计：(1)在原图像中分割出人体运动区域进行保存，利用肤色模型进行肤色检测；(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色轮廓区域；(3)利用肤色区域中心位置，进行人体姿态的粗略预估计；步骤5.人体关节点自动标注：(1)将人体轮廓重心位置作为腹部节点，通过重心点作水平线，记录水平线 与轮廓交点，将两交点之间的距离作为人体躯干宽度；(2)计算重心点与轮廓采样点的欧氏距离，通过相邻点欧氏距离的差值法寻找极值点作为人体头部、手脚关节点的候选位置；根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚步节点三部分，并在此时利用步骤4中的手部及脸部的检测结果将此三类候选点分开；(3)将步骤3中的超过三条线段的交点作为人体胸部节点，利用人体解剖先验知识，利用人体高度信息，将人体分为上半身与下半身两部分；在上半身分割中，利用人体比例信息，找到颈部关节中心；将颈部关节与胸部关节连线中点作为锁骨近端节点；(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点；(5)肘关节确定：首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状态；若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤3中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点；(6)髋骨中心点的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点；膝关节点确定，将髋骨左右端点分别与左右脚部节点连线，根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点；(7)相应关节点连线，形成二维骨架图像。