一种基于哈尔特征和动态时序匹配的投篮动作识别方法

摘要

本发明公开了一种基于哈尔特征和动态时序匹配的投篮动作识别方法。方法的步骤如下：预先捕获投篮动作到数据库，将所有动作处理成多视角下的二维轮廓图像后储存并标记和分类，再建立姿势分类样本库和姿势区分样本库分别抽取分类哈尔特征和度量哈尔特征。运行时通过多视点摄像机拍摄人投篮的图片序列并处理为轮廓图序列作为输入，判断投篮出手时刻，计算该时刻姿势的分类哈尔特征值并判断所属类，再从数据库中索引同一类的动作作为备选相似动作，将这些动作与输入以度量哈尔特征值为相似性度量做动态时序匹配，取匹配代价最优者为输入的识别结果。本发明能在无标记点的情况下快速而准确地识别出投篮动作，可应用于实时交互设备。

主权项

一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤：1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存；2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引；3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库；4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库；5)对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征；6)使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量；7)运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入；8)从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻；9)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类；10)从数据库中索引同一类的所有动作，作为备选相似动作；11)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价；12)取匹配代价最优的备选相似动作，作为输入的识别结果；所述的对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征步骤包括：a)选择若干哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义若干哈尔特征；b)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值；c)对每个已定义的哈尔特征，将其值域等分为K个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计；d)对每个已定义的哈尔特征，根据样本分布统计，计算每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是： F c ( x ) = ( K - 1 ) | ( P w ( y = c | x ) - 1 K - 1 Σ c ′ P w ( y = c ′ | x , c ′ ≠ c ) ) | .