一种语义冗余的挖掘方法和装置

摘要

发明提供了一种语义冗余的挖掘方法和装置，方法包括：S1、从搜索日志中获取Q-Q、Q-T和T-T中的至少一种资源作为候选句对，Q-Q为用户在一个会话中搜索的两个query构成的句对，Q-T为query与对应的被点击网页标题（title）构成的句对，T-T为同一个query对应的两个被点击title构成的句对；S2、从各候选句对中抽取具有相同上下文语境的短语对作为候选复述短语对；S3、从候选复述短语对中抽取短语p2被另一个短语p1完全包含的候选复述短语对；S4、对步骤S3抽取出的候选复述短语对进行噪声过滤后，得到语义冗余短语对。本发明实现了语义冗余的挖掘，为语义冗余的识别以及进一步提高搜索准确率和召回率提供基础。

主权项

一种语义冗余的挖掘方法，其特征在于，该方法包括：S1、从搜索日志中获取Q‑Q、Q‑T和T‑T中的至少一种资源作为候选句对，所述Q‑Q为用户在一个会话session中搜索的两个query构成的句对，所述Q‑T为query与对应的被点击网页标题title构成的句对，所述T‑T为同一个query对应的两个被点击title构成的句对；S2、从各候选句对中抽取具有相同上下文语境的短语对作为候选复述短语对；S3、从候选复述短语对中抽取短语p2被另一个短语p1完全包含的候选复述短语对；S4、对所述步骤S3抽取出的候选复述短语对进行噪声过滤后，得到语义冗余短语对，所述语义冗余短语对中短语p1比短语p2冗余的词语为语义冗余词。