汉老双语平行语料自动采集的系统及实现方法

摘要

一种汉老双语平行语料自动采集的系统及实现方法，包括汉老双语平行信息的自动发现、自动提取、自动整理，首先，制定需要采集语料的关键词组，通过搜索引擎搜索网站，采集网页得到搜索结果，对搜索结果的信息进行过滤和筛选后，将经过滤得搜索结果存储于搜索结果数据库；其次，通过访问搜索结果数据库里的网页，自动提取汉老双语平行信息；最后，针对自动提取的汉老双语平行信息，进行数据过滤，并将经过过滤处理后的汉老双语平行数据存放到汉老双语平行语料库。本发明为汉老语言研究和机器翻译应用提供重要基础数据，解决了语料采集人员和研究人员所面临的数据来源的问题，为双语语料自动采集的发展和汉老自然语言处理做出了杰出的贡献。

主权项

一种汉老双语平行语料自动采集的系统，包括汉老双语平行信息的自动发现模块、自动提取模块、自动整理模块，其特征在于：（1）自动发现模块：实现汉菲双语平行语料自动发现的功能，制定需要采集语料的关键词组，通过搜索引擎搜索网站，采集网页得到搜索结果，对搜索结果的信息进行过滤和筛选后，将经过滤得搜索结果存储于搜索结果数据库；（2）自动提取模块：实现汉菲双语平行语料自动提取的功能，通过访问搜索结果数据库里的网页，自动提取汉老双语平行信息；（3）自动整理模块：针对自动提取的汉老双语平行信息，进行数据过滤，并将经过过滤处理后的汉老双语平行数据存放到汉老双语平行语料库。