主权项 |
一种确定文本视觉相似度的方法,其特征在于实现步骤如下:(1)计算两个字符串直接的视觉距离,计算公式如下:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>VD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>a</mi><mo>)</mo></mrow><mo>]</mo><mo>,</mo></mrow></msub><msub><mi>β</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>)</mo></mrow><mo>=</mo><mi>θ</mi><mo>×</mo><mi>min</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>z</mi><mo>)</mo></mrow><mo>+</mo><mfenced open='{' close=''><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>α</mi><mrow><mn>1</mn><mrow><mo>(</mo><mi>a</mi><mo>)</mo></mrow></mrow></msub><mo>=</mo><msub><mi>β</mi><mrow><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow></mrow></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>α</mi><mrow><mn>1</mn><mrow><mo>(</mo><mi>a</mi><mo>)</mo></mrow></mrow></msub><mo>≠</mo><msub><mi>β</mi><mrow><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow></mrow></msub></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000590846030000011.GIF" wi="1239" he="167" /></maths>其中<maths num="0002" id="cmaths0002"><math><![CDATA[<mfenced open='{' close=''><mtable><mtr><mtd><mi>x</mi><mo>=</mo><mi>VD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>-</mo><mn>1</mn><mo>]</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>y</mi><mo>=</mo><mi>VD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>z</mi><mo>=</mo><mi>VD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>-</mo><mn>1</mn><mo>]</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>-</mo><mn>1</mn></mrow></msub><mo>)</mo></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000590846030000012.GIF" wi="686" he="246" /></maths>计算两个字符串之间可能的视觉距离最大值:<maths num="0003" id="cmaths0003"><math><![CDATA[<mfenced open='' close=''><mtable><mtr><mtd><mi>MVD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mo>[</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>]</mo></mrow></msub><mo>)</mo></mrow><mo>=</mo><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>max</mi><mrow><mo>(</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>-</mo><mi>t</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></munderover><msup><mi>θ</mi><mi>k</mi></msup></mtd></mtr><mtr><mtd><mo>=</mo><mfrac><mrow><mn>1</mn><mo>-</mo><msup><mi>θ</mi><mrow><mi>max</mi><mrow><mo>(</mo><mi>l</mi><mrow><mo>(</mo><mi>α</mi><mo>)</mo></mrow><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow><mo>-</mo><mi>t</mi><mo>)</mo></mrow></mrow></msup></mrow><mrow><mn>1</mn><mo>-</mo><mi>θ</mi></mrow></mfrac></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000590846030000013.GIF" wi="1011" he="332" /></maths>其中α、β表示两个字符串,l(·)表示字符串的长度,θ表示每个相邻字符之间的权重因子的比值;(2)根据步骤(1)中的两个字符串直接的视觉距离计算两个字符串视觉相似度,计算公式如下:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>VS</mi><mrow><mo>(</mo><mi>A</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow><mo>=</mo><mfenced open='{' close=''><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mi>if</mi><msub><mi>α</mi><mrow><mo>[</mo><mn>1</mn><mo>,</mo><mi>t</mi><mo>]</mo></mrow></msub><mo>≠</mo><msub><mi>β</mi><mrow><mo>[</mo><mn>1</mn><mo>,</mo><mi>t</mi><mo>]</mo></mrow></msub></mtd></mtr><mtr><mtd><mn>1</mn><mo>-</mo><mfrac><mrow><mi>VD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>(</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>a</mi><mo>)</mo></mrow><mo>)</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mrow><mo>(</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow></mrow><mrow><mi>MVD</mi><mrow><mo>(</mo><msub><mi>α</mi><mrow><mo>(</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>a</mi><mo>)</mo></mrow><mo>)</mo></mrow></msub><mo>,</mo><msub><mi>β</mi><mrow><mrow><mo>(</mo><mi>t</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>,</mo><mi>l</mi><mrow><mo>(</mo><mi>β</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow></mrow></mfrac></mtd><mtd><mi>otherwise</mi></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000590846030000014.GIF" wi="1166" he="260" /></maths>VD表示上文中计算出来的邮件地址字符串之间的视觉距离,MVD表示字符串α、β之间理论上视觉相似度的最大值;(3)将该邮件的收件人地址与用户历史发件记录的联系人列表的邮件地址计算得到的视觉相似度作为分类器中的VESA,Visual Similarity between Email Addresses)特征,来检测特定字符串如形式类似于电子邮件地址的视觉相似度;(4)每一封邮件计算得到对应的VESA特征,将VESA特征作为分类器的一个特征,利用随机森林分类器对安然数据集中所有发送邮件进行分类训练和测试,以用于检测误发邮件。 |