自律学整列ベースの整列コーパス生成装置およびその方法と、整列コーパスを用いた破壊表現の形態素分析装置およびその形態素分析方法

摘要

自律学整列ベースの整列コーパス生成装置およびその方法と、整列コーパスを用いた破壊表現の形態素分析装置およびその形態素分析方法が開示される。形態素分析装置は、知識データベースと、分析器とを含む。知識データベースは、言語毎の形態素分析に用いられる多数の知識情報を格納するが、正常表現に対応する形態素情報を格納する形態素辞書と、正書法として間違っているか、正規化および標準化されていない表現である破壊表現に対応する正常表現情報を格納する整列コーパスとを含む。分析器は、入力される語節に対して、前記知識データベースを用いて形態素分析を行って分析結果を出力するが、入力語節に対する形態素が前記形態素辞書にない場合、前記入力語節に含まれている破壊表現に対して、前記整列コーパスを用いて前記破壊表現に対応する正常表現を探し、形態素分析を行う。