一种轻量级架构的利用流数据概念生成热力图的方法

摘要

本发明涉及一种轻量级架构的利用流数据概念生成热力图的方法。本发明所述的方法通过改进传统的数据收集框架，利用新技术带来的高并发处理能力和良好的可扩展特性，简化数据收集清洗过程，改进实效性，减少数据存储规模，针对热力图的数据特性，优化存储过程，最终形成产生热力图展现过程。本发明针对热力图的特点，结合Node.js的高并发处理能力，Redis的高速缓存，MySql的数据批量处理能力实现本发明的内容。

主权项

一种轻量级架构的利用流数据概念生成热力图的方法，其特征在于，该方法包括步骤如下：(1)根据系统要接受的数据量，依据每300并发横向部署一个数据接收服务应用，制定部署方案；(2)根据部署方案分别部署负载均衡服务应用、数据接收服务应用、数据处理服务应用、高速缓存中间件和数据库存储；(3)在需要收集数据的网页上部署一个script标签，由script标签向Node.js开发的负载均衡服务器请求一个针对此页面的执行JavaScript，由请求来的JavaScript负责收集用户的点击，将用户点击坐标按照用户页面居左/居中/居左布局方式转化成以整个页面水平中心点为基准点的坐标，并按照可配置的点击数量分组发送到Node.js开发的数据接收服务器,数据接收服务应用把接收的点击数据存储到Redis里面，并更新Rdeis里面每个页面的最大点击数；此过程中负载均衡服务应用负责进行请求的负载均衡、JavaScript片段的生成与缓存管理；(4)在数据库中记录需要数据收集的页面的居左/居中/居左布局方式和页面点击对应的存储表，负载均衡服务应用负责从数据库中提取以上数据，页面代码根据从负载均衡服务应用请求过来的布局方式，决定以何种方式转换点击数据并上传到数据接收服务应用；(5)数据接收服务与高速缓存和数据处理服务共同完成数据清洗并把以页面为单位的点击数据存储到数据库中；(6)展现页面根据数据库中的点击位置和每个位置的点击数量数据展示成为热力图。