一种基于大间隔的集成分类方法

摘要

本发明公开了一种基于大间隔的集成分类方法，包括，步骤一：对随机的数据按照规定比例划分训练集、验证集；步骤二：基于对训练集S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，运行AdaBoost算法T步，输出强分类器sgn[f(x)]和弱分类集{h₁(x),h₂(x),...,h_T(x)}；步骤三：基于所述sgn[f(x)]计算每个训练样本(x_i,y_i)的间隔，并对其间隔按升序排列；步骤四：基于所述sgn[f(x)]和验证集计算验证误差ve，通过所述验证误差ve按如下公式计算出训练集中S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}的近似噪声比例的te等步骤进行，该方法通过分类算法能够生成更大的间隔分布，在多数数据集上表现出更好的预测性能。

主权项

一种基于大间隔的集成分类方法，包括如下步骤：步骤一：对随机的数据按照规定比例划分训练集、验证集；步骤二：基于对训练集S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，运行AdaBoost算法T步，输出强分类器sgn[f(x)]和弱分类集{h₁(x),h₂(x),...,h_T(x)}；其中，$f\left(x\right)=\underset{t=1}{\overset{T}{\Sigma }}\frac{{\alpha }_t{h}_t\left(x\right)}{\left|\right|\alpha |{|}_1}$步骤三：基于所述sgn[f(x)]计算每个训练样本(x_i,y_i)的间隔，并对其间隔按升序排列；步骤四：基于所述sgn[f(x)]和验证集计算验证误差ve，通过所述验证误差ve按如下公式计算出训练集中S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}的近似噪声比例的te，$te=\mathrm{Pr}\left[\underset{s}{\mathrm{Pr}}(\hat{y}=y|x<0.5)\right]\approx \mathrm{Pr}[\underset{D}{\mathrm{Pr}}(\hat{y}=y|x)<0.5]\approx ve;$步骤五：基于验证误差ve估算训练集S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}上噪声样本的数量k；步骤六：选取任意训练样本(x_i,y_i)，如果训练样本(x_i,y_i)在所述sgn[f(x)]中的间隔排在k前，则从训练集中S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}中移除，进而获得新的训练集S^*；步骤七：对步骤一中弱分类集{h₁(x),h₂(x),...,h_T(x)}进行计算获取组合系数β_t，同时通过线性规划公式对步骤五中剩余部分的训练集S＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}获取最大间隔；如下线性公式：max_β,m m$\begin{array}{cc}s.t.& y_i\underset{t=1}{\overset{T}{\Sigma }}{\beta }_t{h}_t\left(x_i\right)\ge m\end{array}$$\begin{array}{cc}{\beta }_t\ge 0,& \underset{t=1}{\overset{T}{\Sigma }}{\beta }_t=1\end{array}$其中(x_i,y_i)来自新的训练集S^*；步骤八：将步骤六获得的最优解通过公式对应的新组合系数获得新的集成强分类器sgn[g(x)]。