| 发明名称 | 一种用户定义函数UDF运行情况的处理方法及系统 | ||
| 摘要 | 一种用户定义函数UDF运行情况的处理方法，其能够以在线的方式自动收集UDF运行状态，定时输出数据报表，量化了UDF调用情况。该方法包括：(1)在HIVE执行计算作业时，每一个计算作业JOB包含N个任务TASK，收集计算作业的JOBID、TASKID、执行开始时间、执行人员、IP地址、作业名称、结束时间；(2)对处理数据量以及调用次数、成功次数以及失败次数做计数；(3)在TASK执行结束之前，在CLOSE方法中把步骤(1)和(2)收集到的信息持久化，存储到mysql数据库；(4)根据mysql数据库中存储的数据，定时统计分析出每一个UDF的执行状态，并输出数据报表。还有一种用户定义函数UDF运行情况的处理系统。 | ||
| 申请公布号 | CN106547883A | 申请公布日期 | 2017.03.29 |
| 申请号 | CN201610954051.7 | 申请日期 | 2016.11.03 |
| 申请人 | 北京集奥聚合科技有限公司 | 发明人 | 温宗臣;张翼;何良均;范卫卫;冯森林;李冰;曾攀;严亮;张书凡;张飞翔 |
| 分类号 | G06F17/30(2006.01)I;G06F11/34(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
| 代理机构 | 北京和信华成知识产权代理事务所(普通合伙) 11390 | 代理人 | 胡剑辉 |
| 主权项 | 一种用户定义函数UDF运行情况的处理方法，其特征在于：该方法包括以下步骤：(1)在HIVE执行计算作业时，每一个计算作业JOB包含N个任务TASK，收集计算作业的JOBID、TASKID、执行开始时间、执行人员、IP地址、作业名称、结束时间；(2)对处理数据量以及调用次数、成功次数以及失败次数做计数；(3)在TASK执行结束之前，在CLOSE方法中把步骤(1)和(2)收集到的信息持久化，存储到mysql数据库；(4)根据mysql数据库中存储的数据，定时统计分析出每一个UDF的执行状态，并输出数据报表。 | ||
| 地址 | 100085 北京市海淀区上地东路1号院5号楼9层901 | ||