| 主权项 |
1.一种用于在线学习的样本集训练方法，其特征在于该方法包括以下步骤：步骤(1)准备一个初始样本集S，并将其分成K个样本子集S<sub>k</sub>，其中k=1,2,…,K；每个样本子集S<sub>k</sub>有m个样本(x<sub>i</sub>,y<sub>i</sub>)，i=1,2,…,m，并且都需要进行T<sub>k</sub>次迭代；步骤(2)针对每个样本子集S<sub>k</sub>，按照下列步骤依次进行T<sub>k</sub>次迭代：步骤(2.1)对样本子集S<sub>k</sub>的样本权值进行初始化，其中权值w<sub>1</sub>(i)＝D<sub>1</sub>(i)＝1/m；步骤(2.2)设t的初始值为1，执行完下列步骤后t值自加一，直至t值大于T<sub>k</sub>；步骤(2.2.1)对样本权值w<sub>t</sub>进行归一化，建立分布<img file="FDA0000470757200000011.GIF" wi="365" he="134" />步骤(2.2.2)根据分布D<sub>t</sub>随机选择训练集TR<sub>t</sub>和测试集TE<sub>t</sub>；利用Qhull算法求取训练集TR<sub>t</sub>的壳向量集<img file="FDA0000470757200000012.GIF" wi="130" he="77" />其中<img file="FDA0000470757200000013.GIF" wi="439" he="88" />并将其作为新的训练集；步骤(2.2.3)在训练集<img file="FDA0000470757200000014.GIF" wi="102" he="77" />上训练支持向量机，得到支持向量机h<sub>t</sub>:X→Y；步骤(2.2.4)计算支持向量机h<sub>t</sub>在训练集TR<sub>t</sub>和测试集TE<sub>t</sub>上的错误率：<maths num="0001"><![CDATA[<math><mrow><msub><mi>ϵ</mi><mi>t</mi></msub><mo>=</mo><munder><mi>Σ</mi><mrow><mi>i</mi><mo>:</mo><msub><mi>h</mi><mi>t</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>≠</mo><msub><mi>y</mi><mi>i</mi></msub></mrow></munder><msub><mi>D</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mi>on</mi><msub><mi>TR</mi><mi>t</mi></msub><mo>+</mo><msub><mi>TE</mi><mi>t</mi></msub><mo>;</mo></mrow></math>]]></maths>如果ε<sub>t</sub>＞1/2，则令t=t-1，删除支持向量机h<sub>t</sub>，跳转到步骤(2.2.2)；否则计算正规化错误率：β<sub>t</sub>＝ε<sub>t</sub>/(1-ε<sub>t</sub>)；步骤(2.2.5)通过权重投票方式产生集成的支持向量机H<sub>t</sub>：<maths num="0002"><![CDATA[<math><mrow><msub><mi>H</mi><mi>t</mi></msub><mo>=</mo><munder><mrow><mi>arg</mi><mi>max</mi></mrow><mrow><mi>y</mi><mo>∈</mo><mi>Y</mi></mrow></munder><munder><mi>Σ</mi><mrow><mi>t</mi><mo>:</mo><msub><mi>h</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>y</mi></mrow></munder><mi>log</mi><mrow><mo>(</mo><mn>1</mn><mo>/</mo><msub><mi>β</mi><mi>t</mi></msub><mo>)</mo></mrow><mo>;</mo></mrow></math>]]></maths>并计算集成误差<maths num="0003"><![CDATA[<math><mrow><msub><mi>E</mi><mi>t</mi></msub><mo>=</mo><msub><mi>Σ</mi><mrow><mi>i</mi><mo>:</mo><msub><mi>H</mi><mi>t</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>≠</mo><msub><mi>y</mi><mi>i</mi></msub></mrow></msub><msub><mi>D</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><msubsup><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>m</mi></msubsup><msub><mi>D</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>[</mo><mo>|</mo><msub><mi>H</mi><mi>t</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>≠</mo><msub><mi>y</mi><mi>i</mi></msub><mo>|</mo><mo>]</mo><mo>;</mo></mrow></math>]]></maths>如果E<sub>t</sub>＞1/2，删除此集成的支持向量机H<sub>t</sub>，并令t=t-1，跳转到步骤(2.2.2)；步骤(2.2.6)设集成正规化错误率B<sub>t</sub>＝E<sub>t</sub>/(1-E<sub>t</sub>)，修改样本子集中样本的权值:<img file="FDA0000470757200000021.GIF" wi="739" he="239" />步骤(3)将所有集成的支持向量机H<sub>t</sub>采用权重投票的方式产生最终输出：<maths num="0004"><![CDATA[<math><mrow><msub><mi>H</mi><mi>final</mi></msub><mo>=</mo><mi>arg</mi><msub><mi>max</mi><mrow><mi>y</mi><mo>∈</mo><mi>Y</mi></mrow></msub><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></munderover><msub><mi>Σ</mi><mrow><mi>t</mi><mo>:</mo><msub><mi>H</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>y</mi></mrow></msub><mi>log</mi><mrow><mo>(</mo><mfrac><mn>1</mn><msub><mi>β</mi><mi>t</mi></msub></mfrac><mo>)</mo></mrow><mo>.</mo></mrow></math>]]></maths> |
