一种融合多线索的人体视频分割方法

摘要

本发明公开了一种融合多线索的人体视频分割方法，其通过简单的交互获取初始帧的前景和背景像素点，并构建前景模型和背景模型，再通过前景、背景模型对初始帧内的像素点进行标记，最终通过图割方法获得初始帧的分割结果，在后续帧的处理中，基于后续帧的前一帧的分割结果获得后续帧的前景、背景模型及其初始标记，然后通过融合后续帧的运动信息及由此获得的后续帧的形状先验信息，采用二值图割方法获得后续帧的分割结果；特点在于将融合了的颜色信息、运动信息和形状先验信息在后续帧之间进行传递，减弱了时域上位于待处理帧之前的帧对待处理帧的影响，有效地避免后续帧在分割时出现扩大后续帧的前一帧分割错误影响的情况，且不再需要用户的交互。

主权项

一种融合多线索的人体视频分割方法，其特征在于：包括以下步骤：①从一段含有人体的视频序列中取出其初始帧，采用HOG人体检测方法对初始帧进行人体检测，获得一个矩形的人体检测框，将初始帧内处于人体检测框外的所有像素点标记为背景像素点，然后标记出初始帧内处于人体检测框内的部分前景像素点和部分背景像素点，将标记出的所有前景像素点构成初始帧的前景区域，将标记出的所有背景像素点构成初始帧的背景区域，将初始帧内未标记的像素点确认为未知点；②利用局部竞争的一类支持向量机分类模型，根据初始帧的前景区域在初始帧内的每个像素点的邻域窗口内构建一个前景模型，并根据初始帧的背景区域在初始帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取初始帧内的每个未知点对应的前景模型和背景模型的得分，得到初始帧内的每个未知点对前景区域和背景区域的损失值，再根据初始帧内的每个未知点对前景区域和背景区域的损失值，对初始帧内的每个未知点进行重新标记，进一步将初始帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出重新标记后初始帧内仍未标记的像素点对更新前的初始帧的前景区域及更新前的初始帧的背景区域的损失值；③在更新完初始帧的前景区域和初始帧的背景区域后，将初始帧内仍未标记的像素点作为初始帧的未知点，然后返回步骤②继续执行，直到完成N次迭代，得到N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点以及N次迭代更新后的初始帧内的每个未知点对N‑1次迭代更新后获得的初始帧的前景区域和背景区域的损失值，其中，20≤N≤30；④根据N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点、N‑1次迭代更新后的初始帧的前景区域和背景区域，采用图割方法对N次迭代更新后的初始帧内的每个像素点进行处理，得到初始帧的分割结果，即得到初始帧的人体对象，然后将初始帧的下一帧作为当前帧，再执行步骤⑤；⑤基于当前帧的上一帧的分割结果对当前帧进行分割处理，具体过程如下：⑤‑1、根据当前帧的上一帧的分割结果，预测得到当前帧的整体前景模型和整体背景模型；⑤‑2、利用当前帧的整体前景模型和整体背景模型对当前帧内的每个像素点进行标记，获得当前帧内的部分前景像素点和部分背景像素点，将获得的当前帧的所有前景像素点构成当前帧的前景区域，将获得的当前帧的所有背景像素点构成当前帧的背景区域，并将当前帧内未标记的像素点确定为未知点；⑤‑3、利用局部竞争的一类支持向量机分类模型，根据当前帧的前景区域在当前帧内的每个像素点的邻域窗口内构建一个前景模型，并根据当前帧的背景区域在当前帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取当前帧内的每个未知点对应的前景模型和背景模型的得分，得到当前帧内的每个未知点对前景区域和背景区域的损失值，再根据当前帧内的每个未知点对前景区域和背景区域的损失值，对当前帧内的每个未知点进行重新标记，进一步将当前帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的未知点加入到当前帧的背景区域中以更新当前帧的背景区域，并得到M次重新标记后更新得到的当前帧的前景区域、背景区域、未知点以及M次重新标记后当前帧内的每个未知点对M‑1次重新标记后的当前帧的前景区域及背景区域的损失值，其中，2≤M≤3；⑤‑4、通过光流法得到当前帧的预测分割结果，并通过光流法估计当前帧的上一帧中的人体对象在当前帧的前景边界，然后根据当前帧的预测分割结果以及当前帧的上一帧中的人体对象在当前帧的前景边界，获取当前帧内的每个像素点的形状先验信息；⑤‑5、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧的前景区域和当前帧的背景区域，M次迭代更新后的当前帧的未知点，M‑1次迭代更新后的当前帧的前景区域和当前帧的背景区域，采用二值图割方法对M次迭代更新后的当前帧内的每个像素点进行处理，得到当前帧的分割结果，即得到当前帧的人体对象；⑥将当前帧的下一帧作为当前帧，然后返回步骤⑤继续执行，直到完成视频序列中所有帧的分割，得到分割后的视频序列。