视频中对象的语意解析

摘要

本发明提供一种以计算机视觉检测人体的语意属性的改良方法。在以计算机视觉检测人体的语意属性时，本发明维护语意属性的列表，这些语意属性中的每一者对应于人体部位。计算机模块接着分析数字视频的帧的区域段，以通过找到每一区域段的最可能属性来检测每一语意属性。应用阈值以选择该帧的候选区域段以供进一步分析。该帧的这些候选区域段接着通过应用人体的身体结构原理及通过分析图像的分辨率愈来愈高的版本来经历几何及分辨率内容脉络分析，以验证部位及属性的存在及准确性。基于通过评估外观特征、几何特征及在该图像的较高分辨率版本可用时的分辨率内容脉络特征而针对该图像的较高分辨率版本所计算的加权平均分，计算机模块计算该图像的较低分辨率版本的分辨率内容脉络分数。最后，经由动态程序设计来执行最佳结构步骤以选择该帧上的具有人体部位的语意属性及空间位置两者的最佳输出。

主权项

一种用于确定视频中的对象的部位及相关属性的方法，所述方法包含：接收视频输入；从所述视频输入检测对象且从所述视频输入裁切所述对象的图像；接收具有所述对象的相关联部位的多个语意属性；产生并储存所述图像的多个版本，每一版本具有所述对象的所述图像的不同分辨率；针对所述多个语意属性，计算在所述对象的所述图像的所述版本中的最低分辨率版本上的多个区域中的每一区域处的外观分数，针对每一区域的所述多个语意属性中的至少一个语意属性的所述外观分数指示所述至少一个语意属性中的每一语意属性出现于所述区域中的概率；针对所述最低分辨率版本中的每一区域来分析分辨率相对于所述最低分辨率版本递增的版本，以计算分辨率内容脉络分数，所述最低分辨率版本中的所述分辨率内容脉络分数指示如下的程度，所述程度是针对每一区域，相比于最低分辨率版本，在所述分辨率递增的版本中存在更精细的空间结构的程度；确定所述最低分辨率版本中的身体部位及相关联语意属性的优化结构，所述确定利用所述最低分辨率版本的各区域中的外观分数及分辨率内容脉络分数；以及显示和/或储存身体部位及相关联语意属性的所述优化结构。