一种从互联网上自动提取双语翻译词典的方法

摘要

本发明公开了一种从互联网上自动提取双语翻译词典的方法，其特征在于，包括：从中外双语网页中提取括号双语词汇和良结构双语词汇；对所述提取的括号双语词汇进行截取，得到翻译准确的括号双语词汇；对良结构双语词汇和经过上一步后的括号双语词汇进行词根合并；对给定的中文，首先在良结构双语词汇中寻找对应的翻译，如果找到则忽略括号双语词汇的翻译；否则在括号双语词汇中寻找对应的翻译，同样方法处理每条外语，最终得到最后的双语翻译词典。本发明依据双语词汇的词频能够快速有效、不依赖任何外来资源自动构建双语翻译词典。

主权项

一种从互联网上自动提取双语翻译词典的方法，其特征在于，包括以下步骤：S1：从中外双语网页中提取括号双语词汇和良结构双语词汇，并记录词频；所述双语词汇为具有翻译关系的中外双语出现在一起组成的词汇，所述良结构双语词汇为先前经过人工整理的具有准确翻译的双语词汇，所述括号双语词汇为词或短语之后的括号内跟上该词或短语的翻译的双语词汇，包括：外中双语词汇，括号内为外语、括号前为中文的括号双语词汇，中外双语词汇，括号内为中文、括号前为外语的括号双语词汇；S2：对提取的所述括号双语词汇进行截取，得到翻译准确的括号双语词汇，具体包括：S201：根据括号左边以及括号中内容的语言属性进行分类，包括外中双语词汇和中外双语词汇，提取所述括号双语词汇括号中的中文作为中文语料库；S202：对所有外中双语词汇中括号左边的中文，从左括号自右向左依次利用步骤S201所得到的中文语料库进行中文字符串匹配，得到所有可以匹配的外中双语词汇，将相同的外中双语词汇合并，词频相加，其中，匹配上的中文字符串称为所述外中双语词汇的前缀；S203：利用所有中外双语词汇对步骤S202得到的词频进行修正，若某外中双语词汇的前缀可以在中外双语词汇的集合中找到，则将该中外双语词汇的词频累加到外中双语词汇上；S204：将每个外语对应的所有括号双语词汇表示为一种树形数据结构来表示，所述树形数据结构中，外中双语词汇的外语词为根节点，每个前缀建立一前缀节点，每个所述前缀节点下面连接一系列子节点，每个所述前缀节点是其子节点的子串，从所述树形数据结构中选择翻译准确的括号双语词汇的方法如下：(1)如果一个父节点A的所有子节点中，存在某一子节点B，B的词频占A节点词频的50％以上，那么保留B节点，同时删除A和A的子节点以及子节点以下的所有节点；(2)如果一个父节点A的所有子节点中，找不到任何一子节点B，B的词频占A节点词频的50％以上，则保留A节点，删除A节点以下的所有节点，其中，所述父节点A不包括根节点，至上而下对每个节点按(1)(2)两步进行筛选，剩下节点对应的双语词汇即为翻译准确的括号双语词汇；S3：对良结构双语词汇和经过步骤S2后的括号双语词汇进行词根合并和筛选，具体包括：S301：将所有中文项相同的双语词汇利用中文结构图表示，所述中文结构图为三层树形数据结构，中文项为根节点，根节点的子节点为所述中文项所有对应外语项的词根，所有的外语项又为各自词根的子节点；S302：对同一中文结构图中的任意两个词根a，b，若 dis ( a , b ) max ( len ( a ) , len ( b ) ) < 0.2 此时，若freq(a)＞freq(b)，删除词根b及b所有子节点，同时freq(a)＝freq(a)+freq(b)，否则，删除词根a及a所有子节点，同时freq(b)＝freq(a)+freq(b)，此处dis(a，b)表示词根a，b之间的编辑距离，len(a)表示词根a的长度，freq(a)表示词根a的词频，所述编辑距离为将一个字符串a通过将一个字符换成另一个字符、删除某个字符或者插入字符转为另一个字符串b所需要的最少步骤；S303：将每个词根R用子节点中词频最大的节点B替代，词频仍然为词根R原来的词频，然后删掉词根R的所有子节点；S304：根据所述中文结构图，将每条外语的所有中文父节点作为该外语的子节点，建立外语结构图，所述外语结构图中外语项为根，所有该外语项的翻译中文项作为该外语项的子节点，对所述外语结构图中根节点下的所有子节点按照词频从大到小排序，保留前K个节点，删除多余子节点，保留下来的节点为根节点外语对应的中文翻译；S305：在中文结构图中，将根节点下的所有子节点按照词频从大到小排序，保留前K个节点，删除多余子节点，得到根节点中文对应的外语翻译；S4：对给定的中文或外语，首先在良结构双语词汇中查找对应的翻译，如果找到则忽略括号双语词汇的翻译；否则在括号双语词汇中寻找对应的翻译，所有中文、外语和对应的翻译构成双语翻译词典。