一种对CCDN提供商信息进行采集及统计的方法

摘要

本发明公开了一种对CCDN提供商信息进行采集及统计的方法，该方法通过部署在各地的主动测量节点，运用所设计的爬虫工具，对大量的网站网页进行爬取，收集网页链接及链接对应的内容信息，并运用域名解析工具对链接中提取出的域名进行分布式的DNS解析，以获取域名所对应的CNAME；然后，运用CDN解析工具对域名对应的CNAME进行CDN解析，以获取CCDN所服务的域名数量、使用的IP数量等信息。在这些信息的基础上，对CCDN的市场现状、基础设施部署状况和QoS进行深入地统计分析，从而对CCDN进行全面的评估，更好地理解CDN市场的现状和发展趋势。

主权项

一种对CCDN提供商信息进行采集及统计的方法，其特征在于包括以下步骤：1）在骨干网选取若干测量节点，利用网络爬虫对目标网站的链接和链接对应的信息进行爬取；2）从收集到的网页链接提取域名，消除冗余的域名，生成DNS解析所需要的域名列表；3）根据链接对应信息中的类型属性对域名列表中的链接对象类型进行分类，并统计每个类型字节数的大小；4）根据ICP的关键域名字段，将爬取到的链接和对应信息按照ICP进行分类；5）将DNS解析工具分发到各个测量节点上，通过向其附近的公共LDNS服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息；6）根据DNS解析工具返回的解析信息，通过把每个域名的CNAME和CDN域名列表进行对比，来发现为域名提供服务的CDN提供商，以此发现CDN所使用的IP数量和服务的域名数量，并将原始网页链接与服务内容的CDN提供商关联起来，为综合统计分析提供数据支持；7）根据以上步骤获得的信息，对CCDN的市场情况、CCDN的基础设施部署和CCDN的QoS进行统计。