一种基于语言模型的医案搜索方法

摘要

本发明公开了一种基于语言模型的医案搜索方法。步骤如下：1)通过OCR，文本结构化处理，从医案书籍中提取结构化单篇医案；2)使用中文分词工具，对所有医案进行包括分词和去停用词在内的预处理；3)用最大似然估计计算得到每篇医案的unigram语言模型；4)针对所有医案，统计各词频水平对应词语的个数，并使用统计到的数据拟合曲线；5)使用Good‑Turing估计方法来平滑每篇医案的unigram语言模型；6)以所有医案集作为整体建立一个所有医案集的语言模型，并用于修正单篇医案的unigram语言模型；7)使用修正后的语言模型实现医案搜索。本发明实现了基于语言模型的信息检索，使用N‑gram针对每篇医案建立各自的语言模型，使用语言模型生成文本的概率作为搜索结果排序依据。

主权项

一种基于语言模型的医案搜索方法，其特征在于包括以下步骤：1)通过OCR，文本结构化处理，从医案书籍中提取结构化单篇医案；2)使用中文分词工具，对所有医案进行包括分词和去停用词在内的预处理，并建立词典；3)用最大似然估计计算得到每篇医案的unigram语言模型；4)针对所有医案，统计各词频水平对应词语的个数N_tf，其中下标tf代表词频水平，使用统计到的数据拟合曲线，拟合公式如下：$N_{tf}={(1-\theta )}^{{\log }_2{N}_{tf}}$得到曲线参数θ；5)根据步骤4)拟合的曲线计算再通过直接估计出比值；使用Good‑Turing估计方法来平滑每篇医案的unigram语言模型，公式如下：${\mathrm{tf}}^{*}=(tf+1)\frac{E\left(N_{tf+1}\right)}{E\left(N_{tf}\right)}$式中：tf^*平滑后的词频水平；6)将所有医案替代单篇医案作为训练文本，重复步骤2)到5)，以所有医案集作为整体建立一个所有医案集的语言模型，使用该语言模型通过加权加和法修正单篇医案的unigram语言模型，修正公式如下：P_sum(t|d)＝ω×P_document(t|d)+(1‑ω)×P_corpus(t)式中：P_sum(t|d)为修正后的单篇医案的unigram语言模型；ω为权重；P_document(t|d)为平滑后的每篇医案的unigram语言模型；P_corpus(t)为整个医案集的语言模型；7)使用修正后的语言模型实现医案搜索。