发明名称 一种用于统计机器翻译的参数调整方法
摘要 一种用于统计机器翻译的参数调整方法,涉及一种参数调整方法。是要解决现有方法在参数调整过程中容易造成参数的过拟合现象及陷入局部最优解的问题。方法:步骤一:利用单语语料库构建翻译所需的语言模型;步骤二:利用双语平行语料库构建翻译模型;步骤三:利用目标函数对参数进行调整。本发明的方法易于实现,能够防止在参数调整过程中出现过拟合现象,并能结合较多的特征数目。另外,由于目标函数是凸的,因此在训练过程中亦能够得到全局的最优解。本发明方法用于翻译系统的参数调整。
申请公布号 CN103092831A 申请公布日期 2013.05.08
申请号 CN201310029538.0 申请日期 2013.01.25
申请人 哈尔滨工业大学 发明人 曹海龙;张文文;刘乐茂;赵铁军;杨沐昀;郑德权;朱聪慧;徐冰
分类号 G06F17/28(2006.01)I 主分类号 G06F17/28(2006.01)I
代理机构 哈尔滨市松花江专利商标事务所 23109 代理人 王艳萍
主权项 一种用于统计机器翻译的参数调整方法,其特征在于该方法按以下步骤进行:步骤一:利用单语语料库构建翻译所需的语言模型;步骤二:利用双语平行语料库构建短语翻译模型;步骤三:利用目标函数 <mrow> <munder> <mi>min</mi> <mi>&lambda;</mi> </munder> <munderover> <mi>&Sigma;</mi> <mrow> <mi>s</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>[</mo> <mo>-</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <msub> <mi>h</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>e</mi> <mi>s</mi> </msub> <mo>,</mo> <msub> <mi>f</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>log</mi> <munder> <mi>&Sigma;</mi> <mrow> <mi>e</mi> <mo>&Element;</mo> <msub> <mi>C</mi> <mi>s</mi> </msub> </mrow> </munder> <mi>exp</mi> <mo>{</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <msub> <mi>h</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>s</mi> </msub> <mo>,</mo> <msup> <mi>e</mi> <mo>&prime;</mo> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mi>l</mi> <mrow> <mo>(</mo> <msup> <mi>e</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <msub> <mi>e</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>]</mo> </mrow>对参数λm进行参数调整;其中es表示参考译文,e′表示机器译文,fs表示待翻译的源语言句子,hm(es,fs)和hm(fs,e′)表示翻译系统构建过程中所使用的特征,特征包含语言模型、短语翻译列表、调序模型和词惩罚四大类,m=1,...,M,M表示特征总的个数,l(e′,es)为消耗函数,Cs表示候选机器译文的集合,e′∈Cs。
地址 150001 黑龙江省哈尔滨市南岗区西大直街92号