数据获取方法、系统及设备

摘要

本发明公开了一种数据获取方法、系统及设备，属于计算机网络领域。所述方法包括：接收来自客户端的数据获取请求，所述数据获取请求包括网页地址；与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源；将抓取到的所述数据资源推送给所述客户端。本发明通过利用代理服务器建立多条数据通道来抓取网页的数据资源，然后主动推送给客户端的方案，解决了客户端在获取网络数据时，浪费流量和响应时间较长的问题，达到了客户端仅需要发起一次数据获取请求，就可以快速获得网页的所有数据资源以显示给用户的效果。

主权项

一种数据获取方法，其特征在于，所述方法包括：接收来自客户端的持久通道建立请求；与所述客户端建立持久通道，以便接收来自所述客户端的至少一个数据获取请求；通过心跳信号与所述客户端维持所述持久通道；接收来自所述客户端的数据获取请求，所述数据获取请求包括网页地址；与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源，所述数据资源包括主资源和子资源，每条数据信道用于抓取一个主资源或者一个子资源；将抓取到的所述数据资源推送给所述客户端；所述与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源，包括：与所述网页服务器建立一条传输控制协议TCP通道来获取所述主资源；在判断到所述网页地址所对应的所有数据资源还包括多个所述子资源时，分别建立多条所述TCP通道来并行获取所述网页地址所对应的所述子资源。