一种基于云计算平台的大数据处理方法

摘要

本发明涉及互联网信息处理技术领域，特别涉及一种基于云计算平台的大数据处理方法，根据不同数据记录中所包含的相同信息单元，应用云计算平台下的大数据处理框架抽象出目标信息的关联信息。云计算平台的大数据处理框架例如Hadoop体系下的MapReduce和Spark等，通过将任务自动切分，分配到多个节点处理，分而自治的方式，可以实现海量数据的并行的处理，极大的提高了数据的处理效率。本发明采用大数据处理框架可以在纷繁复杂的互联网信息中，根据需要分析出海量目标信息背后隐含的关联信息；为数据信息的深度挖掘和应用提供了可靠便捷的途径，为目标背景分析，市场推广，市场细分，风险预测和防控等提供了有效技术支撑。

主权项

一种基于云计算平台的大数据处理方法，其特征在于，包含以下实现过程：(1)在一条数据记录中包含第一信息和第二信息，其中第二信息为第一信息的一度关联信息；(2)在第二数据记录中包括第二信息和第三信息，其中第三信息是第二信息的一度关联信息；通过云计算平台下的分布式处理框架将所述第三信息抽象成第一信息的二度关联信息；(3)在第三数据记录中包含第四信息和第三信息，其中所述第四信息为第三信息的一度关联信息，通过云计算平台下的分布式处理框架将所述第四信息抽象成第一信息的三度关联信息；依次类推，抽象出第一信息的N度关联信息，其中N≥1。