发明名称 一种基于AdaBoost的弱分类器内部结构调整方法
摘要 本发明公开了一种基于AdaBoost的弱分类器内部结构调整方法,首先是训练弱分类器,通过加权训练样本决定训练的弱分类器的融合权重,每个弱分类器对输入样本输出一个弱假设,所有弱分类器组成一个强分类器并输出最终结果;其次是内部结构调整、最佳弱分类器参数选择和调整验证,然后利用遗传算法来解决最优化问题,最后是训练样本重新加权,根据训练样本的错误率高低来重新确定样本的权重。本发明在场景分类问题上有非常好的表现,分辨率高,误判率低。
申请公布号 CN103246897B 申请公布日期 2016.04.27
申请号 CN201310205336.7 申请日期 2013.05.27
申请人 南京理工大学 发明人 钱惟贤;杨力;胡楷;周霞;任建乐;顾国华;陈钱;路东明;隋修宝
分类号 G06K9/66(2006.01)I 主分类号 G06K9/66(2006.01)I
代理机构 南京理工大学专利中心 32203 代理人 唐代盛
主权项 一种基于AdaBoost的弱分类器内部结构调整方法,其特征在于包括以下步骤:步骤一:训练弱分类器,通过加权训练样本决定训练的弱分类器的融合权重,每个弱分类器对输入样本输出一个弱假设,所有弱分类器组成一个强分类器并输出最终结果;步骤二:对弱分类器进行内部结构调整,每个弱分类器的调整是由一个调整向量β和一个偏移向量η决定的,它们的维数都是1×N维,N为多级弱分类器的数目,按<img file="FDA0000902177930000011.GIF" wi="560" he="94" />y∈Y={1,...,N}进行调整;步骤三:对内部结构调整后的弱分类器进行最佳参数选择,利用遗传算法来选取最佳参数;步骤四:调整过的弱分类器进行验证,即满足一个设定的阈值,具体为对于m个样本,调整验证计算方式如下:<img file="FDA0000902177930000012.GIF" wi="598" he="95" />其中<img file="FDA0000902177930000013.GIF" wi="137" he="94" />是弱分类器对于m个样本的分类表现,<img file="FDA0000902177930000014.GIF" wi="525" he="134" /><maths num="0001"><math><![CDATA[<mrow><msub><mi>&theta;</mi><mi>q</mi></msub><mo>=</mo><mo>{</mo><msubsup><mi>&theta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>,</mo><msubsup><mi>&theta;</mi><mi>q</mi><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>&theta;</mi><mi>q</mi><mi>K</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math><img file="FDA0000902177930000015.GIF" wi="430" he="94" /></maths><img file="FDA0000902177930000016.GIF" wi="62" he="79" />代表未经内部结构调整,<maths num="0002"><math><![CDATA[<mrow><msubsup><mi>&theta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>=</mo><mo>&lt;</mo><msubsup><mi>&eta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>,</mo><msubsup><mi>&beta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>&gt;</mo><mo>;</mo><msubsup><mi>&eta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>=</mo><mn>0</mn><mo>,</mo><msubsup><mi>&beta;</mi><mi>q</mi><mn>0</mn></msubsup><mo>=</mo><mn>1</mn><mo>;</mo></mrow>]]></math><img file="FDA0000902177930000017.GIF" wi="582" he="95" /></maths><img file="FDA0000902177930000018.GIF" wi="142" he="95" />代表调整过的弱分类器对m个样本的分类表现,其中:<maths num="0003"><math><![CDATA[<mrow><msubsup><mi>&theta;</mi><mi>q</mi><mo>*</mo></msubsup><mo>=</mo><mo>&lt;</mo><msubsup><mi>&eta;</mi><mi>q</mi><mo>*</mo></msubsup><mo>,</mo><msubsup><mi>&beta;</mi><mi>q</mi><mo>*</mo></msubsup><mo>&gt;</mo><mo>=</mo><mi>arg</mi><munder><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow><msub><mi>&theta;</mi><mi>q</mi></msub></munder><mi>f</mi><mrow><mo>(</mo><msub><mi>&theta;</mi><mi>q</mi></msub><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000902177930000019.GIF" wi="598" he="111" /></maths>其中f(θ<sub>q</sub>)是加权向量样本正确分辨率,<maths num="0004"><math><![CDATA[<mrow><mi>f</mi><mrow><mo>(</mo><msub><mi>&theta;</mi><mi>q</mi></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mi>m</mi></mfrac><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>m</mi></munderover><mo>&lsqb;</mo><msub><mi>h</mi><mi>q</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>&rsqb;</mo></mrow>]]></math><img file="FDA00009021779300000110.GIF" wi="533" he="134" /></maths>其中i=1,...,m,M为强分类器个数,m为训练样本集中样本数量;如果<img file="FDA00009021779300000111.GIF" wi="310" he="93" />不成立,那么使用步骤一训练后的弱分类器;步骤五:训练样本重新加权,使用训练样本测试调整过的弱分类器,根据步骤一再次确定样本的权值,并计算每个强分类器的输出,最后将M个强分类器串联得到最终的级联分类器;所述步骤二中的内部结构调整方法为:最终的分类器由M个强分类器级联组成,每个强分类器由N个弱分类器组成,<img file="FDA0000902177930000021.GIF" wi="376" he="100" />代表第q级强分类器对输入样本的响应向量,<img file="FDA0000902177930000022.GIF" wi="87" he="86" />代表第q级强分类器中相对应的第k2级弱分类器对输入样本的响应,其中,q=1,...,M,k2=1,…,N,C<sub>k</sub>代表每个强分类器中的第k2级弱分类器,内部结构调整向量<img file="FDA0000902177930000023.GIF" wi="382" he="94" />最佳偏移向量<img file="FDA0000902177930000024.GIF" wi="367" he="94" />假设h<sub>t</sub>(x,y)是第t级内部结构调整过的弱分类器的分类,t=1,...,M,则<maths num="0005"><math><![CDATA[<mrow><msub><mi>h</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msubsup><mi>&beta;</mi><mi>t</mi><mi>y</mi></msubsup><mrow><mo>(</mo><msubsup><mi>R</mi><mi>t</mi><mi>y</mi></msubsup><mo>(</mo><mi>x</mi><mo>)</mo><mo>-</mo><msubsup><mi>&eta;</mi><mi>t</mi><mi>y</mi></msubsup><mo>)</mo></mrow><mo>,</mo><mi>y</mi><mo>&Element;</mo><mi>Y</mi><mo>=</mo><mo>{</mo><mn>1</mn><mo>,</mo><mo>...</mo><mo>,</mo><mi>N</mi><mo>}</mo></mrow>]]></math><img file="FDA0000902177930000025.GIF" wi="901" he="93" /></maths>由N个弱分类器组成的强分类器的输出为<maths num="0006"><math><![CDATA[<mrow><mi>H</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>arg</mi><munder><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>Y</mi></mrow></munder><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><msub><mi>&alpha;</mi><mi>t</mi></msub><mo>&times;</mo><msub><mi>h</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mi>arg</mi><munder><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>Y</mi></mrow></munder><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><msub><mi>&alpha;</mi><mi>t</mi></msub><mo>&times;</mo><mo>&lsqb;</mo><msubsup><mi>&beta;</mi><mi>t</mi><mi>y</mi></msubsup><mrow><mo>(</mo><msubsup><mi>R</mi><mi>t</mi><mi>y</mi></msubsup><mo>(</mo><mi>x</mi><mo>)</mo><mo>-</mo><msubsup><mi>&eta;</mi><mi>t</mi><mi>y</mi></msubsup><mo>)</mo></mrow><mo>&rsqb;</mo></mrow>]]></math><img file="FDA0000902177930000026.GIF" wi="1374" he="142" /></maths>其中Y={1,...,N}。
地址 210094 江苏省南京市孝陵卫200号
您可能感兴趣的专利