用于发现文本词间关联规则的完全加权模式挖掘方法

摘要

一种用于发现文本词间关联规则的完全加权正负模式挖掘方法，通过将待处理的完全加权数据进行预处理，构建完全加权数据库和项目库；挖掘完全加权频繁项集和负项集，剪枝获得有趣的完全加权频繁项集和负项集；采用支持度‑CPIR模型‑相关性‑兴趣度评价框架，挖掘有效的完全加权正负关联规则。本发明能够克服现有加权挖掘技术的缺陷，将项目权值客观分布于数据库中并随事务记录变化的完全加权数据特点融入该发明技术中，获得更加实际合理的完全加权正负关联模式，避免无效的和无趣的关联模式产生，所挖掘的候选项集、频繁项集和负项集以及正负关联规则模式数量均比现有技术挖掘的少，挖掘效率得到极大地提高，并且具有良好的可扩展性。

主权项

一种用于发现文本词间关联规则的完全加权模式挖掘方法，其特征在于，包括如下步骤：(1)完全加权数据预处理阶段：将待处理的完全加权数据进行预处理，构建完全加权数据库和项目库；(2)完全加权频繁项集和负项集挖掘阶段，包括以下步骤2.1和步骤2.2：2.1、从项目库中提取完全加权候选1_项集，并挖掘完全加权频繁1_项集；具体步骤按照2.1.1～2.1.3进行：2.1.1、从项目库中提取完全加权候选1_项集；2.1.2、累加完全加权候选1_项集在完全加权数据库中的权值总和，计算其支持度；2.1.3、将完全加权候选1_项集中支持度大于或等于最小支持度阈值的完全加权频繁1_项集加入到完全加权频繁项集集合；2.2、从完全加权候选2_项集开始，按照步骤2.2.1～2.2.4进行操作：2.2.1、将完全加权频繁(i‑1)_项集进行Apriori连接，生成完全加权候选i_项集；所述的i≥2；2.2.2、累加完全加权候选i_项集在完全加权数据库中的权值总和，计算其支持度；2.2.3、从完全加权候选i_项集中将其支持度不小于支持度阈值的频繁i_项集取出，存入完全加权频繁项集集合，同时，将其支持度小于支持度阈值的完全加权负i_项集存入完全加权负项集集合；2.2.4、将i的值加1，如果频繁(i‑1)_项集为空就转入(3)步，否则，继续2.2.1～2.2.3步骤；(3)剪枝阶段：通过剪枝阶段获得有趣的完全加权频繁项集和负项集：3.1、对于频繁项集集合中的每一个频繁i‑项集awL_i，计算IAWFI(awL_i)值，剪除其IAWFI(awL_i)值为假的频繁项集，剪枝后得到有趣的完全加权频繁项集集合；IAWFI(awL_i)计算公式如下：其中，awItemsetInt(I₁∪I₂)＝awsup(I₁)×awsup(I₁∪I₂)×(1–awsup(I₂))，awItemsetInt(﹁I₁,﹁I₂)＝awsup(I₂)×(1–awsup(I₁))×(1–awsup(I₁)–awsup(I₂)+awsup(I₁∪I₂))，minInt为最小兴趣度阈值，minsup最小支持度阈值；3.2、对于完全加权负项集集合中的每一个负i‑项集awN_i，计算IAWNI(awN_i)值，剪除其IAWNI(awN_i)值为假的负项集，剪枝后得到有趣的完全加权负项集集合；IAWNI(awN_i)的计算公式如下：其中，awItemsetInt(I₁∪I₂)＝awsup(I₁)×awsup(I₁∪I₂)×(1–awsup(I₂))；awItemsetInt(I₁∪﹁I₂)＝awsup(I₁)×awsup(I₂)×(awsup(I₁)–awsup(I₁∪I₂))；awItemsetInt(﹁I₁∪I₂)＝(1–awsup(I₁))×(1–awsup(I₂)×(awsup(I₂)–awsup(I₁∪I₂))；awItemsetInt(﹁I₁∪﹁I₂)＝awsup(I₂)×(1–awsup(I₁))×(1–awsup(I₁)–awsup(I₂)+awsup(I₁∪I₂))；(4)从有趣的完全加权频繁项集集合中挖掘有效的完全加权正负关联规则，包括以下步骤：4.1、从有趣的完全加权频繁项集集合取出频繁项集awL_i，求出awL_i的所有真子集，构建awL_i的真子集集合，然后进行下列操作：4.2.1、从awL_i的真子集集合中任意取出两个真子集I₁和I₂，当I₁和I₂的交集为空集，I₁和I₂的项目个数之和等于其原频繁项集的项目个数，以及I₁和I₂的支持度都不小于支持度阈值，则计算频繁项集(I₁∪I ₂)的项内权值比awIWR(I₁,I₂)及其维数比awIDR(I₁,I₂)；awIWR(I₁,I₂)及awIDR(I₁,I₂)的计算公式如下：$awIWR(I_1,I_2)=\frac{w_{12}}{w_1\times w_2};$$awIDR(I_1,I_2)=\frac{k_{12}}{k_1\times k_2};$w₁₂和w₁、w₂分别为完全加权项集(I₁,I₂)及其子项集I₁和I₂在完全加权数据库AWD中的权值总和，k₁₂，k₁和k₂分别为项集(I₁,I₂)及其子项集I₁和I₂的项目个数；4.2.2、当数据库中事务记录总数n和上述4.2.1步的项内权值比awIWR(I₁,I₂)的乘积大于其维数比awIDR(I₁,I₂)时，即n×awIWR(I₁,I₂)>awIDR(I₁,I₂)时，进行如下操作：4.2.2.1若I₁→I₂的awCPIR值awCPIR(I₁→I₂)不小于置信度阈值minconf，则挖掘出完全加权关联规则I₁→I₂；若I₂→I₁的awCPIR值awCPIR(I₂→I₁)不小于置信度阈值minconf，则挖掘出完全加权关联规则I₂→I₁；awCPIR(I₁→I₂)和awCPIR(I₂→I₁)的计算公式如下：$\mathrm{awCPIR}(I_1\to I_2)=\frac{\mathrm{awsup}(I_2\cup I_1)-\mathrm{awsup}\left(I_1\right)\mathrm{awsup}\left(I_2\right)}{\mathrm{awsup}\left(I_1\right)(1-\mathrm{awsup}\left(I_2\right))};$$\mathrm{awCPIR}(I_2\to I_1)=\frac{\mathrm{awsup}(I_2\cup I_1)-\mathrm{awsup}\left(I_1\right)\mathrm{awsup}\left(I_2\right)}{\mathrm{awsup}\left(I_1\right)(1-\mathrm{awsup}\left(I_1\right))};$4.2.2.2若﹁I₁∪﹁I₂的支持度awsup(﹁I₁∪﹁I₂)不小于支持度阈值minsup，那么，①如果﹁I₁→﹁I₂的awCPIR值awCPIR(﹁I₁→﹁I₂)不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→﹁I₂；②如果﹁I₂→﹁I₁的awCPIR值awCPIR(﹁I₂→﹁I₁)不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→﹁I₁；awsup(﹁I₁∪﹁I₂)、awCPIR(﹁I₁→﹁I₂)和awCPIR(﹁I₂→﹁I₁)的计算公式如下：awsup(﹁I₁∪﹁I₂)＝awsup(﹁I₁∪﹁I₂)＝1–awsup(I₁)–awsup(I₂)+awsup(I₁∪I₂)；4.2.3、当数据库中事务记录总数n和上述4.2.1步的项内权值比awIWR(I₁,I₂)的乘积小于其维数比awIDR(I₁,I₂)时，即n×awIWR(I₁,I₂)<awIDR(I₁,I₂)时，进行如下操作：4.2.3.1若I₁∪﹁I₂的支持度awsup(I₁∪﹁I₂)不小于支持度阈值minsup，那么，①如果I₁→﹁I₂的awCPIR值awCPIR(I₁→﹁I₂)不小于置信度阈值minconf，则挖掘出完全加权负关联规则I₁→﹁I₂；②如果﹁I₂→I₁的awCPIR值awCPIR(﹁I₂→I₁)不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→I₁；awsup(I₁∪﹁I₂)、awCPIR(I₁→﹁I₂)和awCPIR(﹁I₂→I₁)的计算公式如下：awsup(I₁→﹁I₂)＝awsup(I₁∪﹁I₂)＝awsup(I₁)–awsup(I₁∪I₂)；4.2.3.2若﹁I₁∪I₂的支持度awsup(﹁I1∪I2)不小于支持度阈值minsup，那么，①如果﹁I₁→I₂的awCPIR值awCPIR(﹁I₁→I₂)不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→I₂；②如果I₂→﹁I₁的awCPIR值awCPIR(I₂→﹁I₁)不小于置信度阈值minconf，则挖掘出完全加权负关联规则I₂→﹁I₁；awsup(﹁I₁∪I₂)、awCPIR(﹁I₁→I₂)和awCPIR(I₂→﹁I₁)的计算公式如下：awsup(﹁I₁→I₂)＝awsup(﹁I₁∪I₂)＝awsup(I₂)–awsup(I₁∪I₂)；4.2.4、继续4.2.1～4.2.3步骤，如果awL_i的真子集集合中每个真子集都当且仅当被取出一次，则转入4.2.5步；4.2.5，继续4.1步骤，如果有趣的完全加权频繁项集集合中每个频繁项集awL_i都当且仅当被取出一次，则转入第(5)步；(5)从有趣的完全加权负项集集合中挖掘有效的完全加权负关联规则，包括以下步骤：5.1、从有趣的完全加权负项集集合取出负项集awN_i，求出awN_i的所有真子集，构建awN_i的真子集集合，然后进行下列操作：5.2.1、从awN_i的真子集集合中任意取出两个真子集I₁和I₂，当I₁和I₂的交集为空集，I₁和I₂的项目个数之和等于其原频繁项集的项目个数，以及I₁和I₂的支持度都大于或者等于支持度阈值，则计算负项集I₁∪I₂的项内权值比awIWR(I₁,I₂)及其维数比awIDR(I₁,I₂)；5.2.2、当数据库中事务记录总数n和上述5.2.1步的项内权值比awIWR(I₁,I₂)的乘积大于其维数比awIDR(I₁,I₂)时，即n×awIWR(I₁,I₂)>awIDR(I₁,I₂)时，进行如下操作：5.2.2.1若﹁I₁∪﹁I₂的支持度大于或者等于支持度阈值minsup，那么，①如果﹁I₁→﹁I₂的awCPIR值awCPIR(﹁I₁→﹁I₂)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→﹁I₂；②如果﹁I₂→﹁I₁的awCPIR值awCPIR(﹁I₂→﹁I₁)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→﹁I₁；5.2.3、当数据库中事务记录总数n和上述5.2.1步的项内权值比awIWR(I₁,I₂)的乘积小于其维数比awIDR(I₁,I₂)时，即n×awIWR(I₁,I₂)<awIDR(I₁,I₂)时，进行如下操作：5.2.3.1若I₁∪﹁I₂的支持度大于或者等于支持度阈值minsup，那么，①如果I₁→﹁I₂的awCPIR值awCPIR(I₁→﹁I₂)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则I₁→﹁I₂；②如果﹁I₂→I₁的awCPIR值awCPIR(﹁I₂→I₁)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→I₁；5.2.3.2若﹁I₁∪I₂的支持度大于或者等于支持度阈值minsup，那么，①如果﹁I₁→I₂的awCPIR值awCPIR(﹁I₁→I₂)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→I₂；②如果I₂→﹁I₁的awCPIR值awCPIR(I₂→﹁I₁)大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则I₂→﹁I₁；5.2.4、继续5.2.1～5.2.3步骤，如果awN_i的真子集集合中每个真子集都当且仅当被取出一次，则转入5.2.5步；5.2.5、继续5.1步骤，如果有趣的完全加权负项集集合中每个负项集awN_i都当且仅当被取出一次，则完全加权正负关联规则挖掘结束；“﹁”为负相关符号，﹁I₁表示在事务处理中不出现I₁的事件，称为负项集I₁；I ₁∪﹁I₂表示一个项集，该项集有子项集I₁和负子项集I₂；关联规则I₁→﹁I₂其含义是：如果子集I₁的事件出现或者发生，那么子集I₂的事件不会出现或者不发生。