一种基于分类器的图像场景分层与对象遮挡处理方法

摘要

本发明是一种基于分类器的图像场景分层与对象遮挡处理方法，为自动判别图像场景的层次关系和处理对象遮挡关系提供了新的技术方案。本发明包括：在训练集上使用语义、位置、轮廓、公共边界和交界点五种遮挡线索的特征，训练得到判别遮挡关系的分类器；对测试图像使用遮挡关系分类器计算遮挡关系预测值，构建表示遮挡关系的带权有向图；使用层次排序推理算法，在带权有向图上推理出图像场景的层次结构；利用已得到的场景层次结构，处理新加入对象与已有场景对象的遮挡关系，生成图像虚拟场景。本发明可用于图像或视频虚拟场景的遮挡处理，图像或视频虚拟场景生成等应用。

主权项

1.一种基于分类器的图像场景分层的对象遮挡处理方法，其特征在于该方法包含以下步骤：（1）在图像场景语义标记结果的基础上，利用对象语义、对象位置、对象轮廓、公共边界和交界点五种遮挡线索表征对象区域间的遮挡关系和层次关系，并检测训练数据集图像的上述五种遮挡线索，计算其特征响应值；（2）在训练数据集上采样遮挡关系样本，训练得到遮挡关系的分类器；（3）对于任意一张输入图像，给定其场景语义标记结果，检测上述五种遮挡线索信息，构建遮挡关系特征向量集合，利用已经训练好的分类器，得到属于这张图像的所有遮挡关系的预测值，以此构建表现遮挡关系的带权完全有向图；（4）在遮挡关系的带权完全有向图上推理求解得到图像场景的层次结构；（5）将用户感兴趣的对象加入到已分层场景的指定层次，根据对象间的前后层次正确处理遮挡，最终生成图像虚拟场景；上述五种遮挡线索的定义如下：对象语义关系的响应值计算，首先输入要计算语义关系的两对象R_i和R_j，由于在语义标记图中不同颜色表示不同的语义对象，所以识别两对象R_i和R_j的颜色，即识别两对象的语义信息，然后输入人工划分的分层结果，获得不同语义对象的遮挡关系直方图，横坐标和纵坐标都是数据集中所有的语义类别；以此直方图的统计结果作为语义遮挡线索的特征响应值；对象位置线索的数学模型为：对于两个区域对象R_i和R_j，根据遮挡线索检测计算出的各对象的区域中心位置，从中选择Y方向高度值和，H为图像高度；利用位置线索数学模型计算两对象从相对位置角度度量二者之间的遮挡关系值P_pos，最后将该响应值返回；在对象轮廓线索检测中得到的各区域轮廓的面积和长度信息，利用轮廓紧凑性数学模型计算度量该对象单个区域轮廓的紧凑性与被遮挡关系的响应值，然后将该对象所有轮廓的响应值取平均值，最后将该平均值作为对象区域轮廓紧凑性的响应返回；区域R紧凑性数学模型如下，其中，L为轮廓长度，A为区域面积，n为区域所包含的像素个数，α为加权系数：$p_{\mathrm{com}}\left(R\right)\approx \exp \{-\alpha ·\frac{n-L/A}{n-\sqrt{n}}\};$为了描述区域间公共边界和遮挡关系之间的关系，利用曲率定义公共边界凸性模型函数为：其中，κ为公共边界任一点的曲率，为逆时针方向的公共边界曲线，L为公共边界曲线弧长；利用公共边界凸性模型计算两对象从公共边界线索判断遮挡关系的响应值p_conv并将其返回；在给定两区域R_i,R_j遮挡关系R_i<R_j，即R_i遮挡R_j，的条件下，定义并量化曲率变化反映遮挡关系的公共边界线索的数学模型为$p_{\mathrm{conv}}\left(\overrightarrow{L}\right|R_i<R_j),$即$p_{\mathrm{conv}}\left(\overrightarrow{L}\right|R_i<R_j)\propto \underset{i=1}{\overset{N}{\Sigma }}g\left({\overrightarrow{L}}_i\right)/N;$其中，两对象间可能存在多条公共边界，N为区域R_i,R_j间的公共边界数目；定义交界点形状数学模型为：p_ang(J|R_i<R_j,R_i<R_k)∝p_J(θ₁,θ₂)，其中，R_i、R_j、R_k表示存在交界点的三个区域，其遮挡关系为R_i<R_j,R_i<R_k，即R_i遮挡R_j，R_i遮挡R_k；p_J(θ₁,θ₂)为在当前遮挡关系下确定的向量夹角，θ₁为区域R_i所辖区域的角度，θ₂为继续沿着逆时钟方向确定的向量夹角；交界点形状统计量计算，首先输入要计算交界点形状反映遮挡关系的交界点J_t，然后根据在遮挡线索检测中计算得到的描述交界点形状的角度信息，利用上述定义的交界点形状数学模型计算三邻接对象区域间的遮挡关系响应值并返回。