一类大数据挖掘的“特质技法库”构造技术

摘要

本发明公开了一类大数据挖掘的“特质技法库”构造技术，该发明属大数据分析与挖掘领域。该构造技术利用了我们提出的原创性知识发现理论KDTICM，并将“过程模型群”和“算法群”有机融合，发明了领域知识驱动、形态递进、逐层递阶的数据挖掘“特质技法库”构造技术，此系列发明融模型与算法于一体，集领域通用与专业特用于一体。

主权项

一类大数据挖掘的“特质技法库”构造技术，其特征在于：包括“过程模型群“、“算法群”以及“特质技法库”；1)“过程模型群”：发明了基于内在认知机理研究、全程融入领域知识的数据挖掘“过程模型群”，基于认知心理学发现了双库协同机制，论证了特定构造下数据库与知识库间的对应关系，设计了启发型与维护型协调器，构造了KDD*模型，解决了定向搜索、定向挖掘、自主发现、实时维护、领域知识参与等难题；提出基于知识库的知识发现(KDK)，发现其双基融合机制，设计了R、S、T型协调器，构造了KDK*过程模型，解决了知识库中知识发现依赖与部分转化为数据库中知识发现的难题；还构造了KD(D&K)、DFSSM等过程模型，建立了模型间的联动机制，从本质上提升了经典知识发现系统的运行流程；2)“算法群”：发明了由模型群驱动的多层级数据挖掘“算法群”，针对单关系结构化数据，提出了频繁模式挖掘的系列算法，精简了挖掘结果数量，提高了挖掘效率；针对多关系结构化数据，提出了多关系数据流决策树算法，改善了分类精度；针对非(半)结构化数据，通过构造Hilbert子空间将非(半)结构化数据的特征抽取、变换与映射过程融为一体，提高了挖掘效率；针对KDK提出了新算法：针对事实，采用归纳学习方法产生假设，再用卡尔纳普的归纳逻辑进行验证与评价；针对规则，采用广义概念格方法产生假设，再用柯恩的归纳逻辑进行验证与评价，“算法群”解决了从结构化数据，到非(半)结数据，再到高阶逻辑知识挖掘的效率、精度、可扩展性等系列关键技术问题；3)“特质技法库”：发明了领域知识驱动、形态递进、逐层递阶的“特质技法库”构造技术，将“过程模型群”与“算法群”有机融合，构造了特质技法库的运行流程；构建了由“特质技法库”为知识获取方法库的具有多知识源、多知识融合、多抽象级等特征的专家系统和智能决策支持系统，从根本上改善了长期困扰智能系统领域的“知识匮乏”的瓶颈问题；自主设计了作为“特质技法库”载体软件系统ICCKDSS，内含原创算法无缝对接。