发明名称 |
一种大数据量的日志记录方法及装置 |
摘要 |
本发明涉及一种大数据量的日志记录方法及装置,包括以下步骤:客户端向互联网网站发送访问请求,互联网网站根据访问请求访问数据库,得到响应信息,并将响应信息返回给客户端;互联网网站将访问请求保存成访问日志,并将访问日志发送给日志模块;日志模块对访问日志进行解析,并将解析后的访问日志保存到日志文件中;在预定的时间段内重复执行步骤1至步骤3,分别将每次接收到访问请求后得到的访问日志保存到日志文件中;导入模块将每个预定的时间段内保存于日志模块中的日志文件导入数据库。本发明能够大大地提高在大并发量大数据量的环境下日志处理的性能,降低了数据库的压力,减少了系统因日志产生的额外的性能消耗。 |
申请公布号 |
CN103475519B |
申请公布日期 |
2016.09.14 |
申请号 |
CN201310407729.6 |
申请日期 |
2013.09.09 |
申请人 |
北京思特奇信息技术股份有限公司 |
发明人 |
陆洋智 |
分类号 |
H04L12/24(2006.01)I;H04L29/08(2006.01)I;G06F17/30(2006.01)I |
主分类号 |
H04L12/24(2006.01)I |
代理机构 |
北京轻创知识产权代理有限公司 11212 |
代理人 |
杨立 |
主权项 |
一种大数据量的日志记录方法,其特征在于,包括以下步骤:步骤1:客户端(1)向互联网网站(2)发送访问请求,互联网网站(2)根据访问请求访问数据库(5),得到响应信息,并将响应信息返回给客户端(1);步骤2:互联网网站(2)将访问请求保存成访问日志,并将访问日志发送给日志模块(3),所述步骤1和步骤2采用异步方式同时进行;步骤3:日志模块(3)对访问日志进行解析,并将解析后的访问日志保存到日志文件中;步骤4:在预定的时间段内重复执行步骤1至步骤3,分别将每次接收到访问请求后得到的访问日志保存到日志文件中;步骤5:导入模块(4)将每个预定的时间段内保存于日志模块中的日志文件导入数据库(5)。 |
地址 |
100086 北京市海淀区中关村南大街6号中电信息大厦16层 |