发明名称 数据抓取方法及系统
摘要 一种数据抓取方法,其包括:当某一网站被访问时,抓取多个数据包;解析所述任意一个数据包以确定所对应的协议类型;根据确定的所述协议类型选取作为外部数据信息的数据包;此外本公开还提供一种数据抓取系统;本公开的方法和系统通过确定接收到的数据包所基于的协议类型来针对性的获取可用于外部数据信息的数据包,而不是将抓取的所有的数据包都作为外部数据信息,这样即避免了分析所有的被抓取的数据包而造成的资源的浪费,也避免了对冗余的无用数据包进行盲目的分析所消耗的时间,同时也避免了过多的冗余数据包对识别结果的干扰,提升了通过外部数据信息识别数据包来源网站的准确率。
申请公布号 CN106066854A 申请公布日期 2016.11.02
申请号 CN201610346373.3 申请日期 2016.05.23
申请人 乐视控股(北京)有限公司;乐视云计算有限公司 发明人 李洪福;李艳松
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京商专永信知识产权代理事务所(普通合伙) 11400 代理人 方挺;黄谦
主权项 一种数据抓取方法,包括:当某一网站被访问时,抓取多个数据包;解析所述任意一个数据包以确定所对应的协议类型;根据确定的所述协议类型从所述多个数据包中选取作为用于识别所述某一网站的外部数据信息的数据包。
地址 100025 北京市朝阳区姚家园路105号3号楼10层1102