| 发明名称 | 一种考虑任务相关性的Hive优化方法及系统 | ||
| 摘要 | 本发明涉及一种考虑任务相关性的Hive优化方法及系统，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job；本发明提供的方法及系统，考虑Hive执行过程中，任务之间的相关性，最小化MapReduce Job数量。 | ||
| 申请公布号 | CN106250460A | 申请公布日期 | 2016.12.21 |
| 申请号 | CN201610607561.7 | 申请日期 | 2016.07.28 |
| 申请人 | 全球能源互联网研究院;国网上海市电力公司;国家电网公司 | 发明人 | 杨訸;李焕;赵婷;刘贺;高昆仑;袁豪;陈江琦;黄复鹏;梁潇;王宇飞 |
| 分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
| 代理机构 | 北京安博达知识产权代理有限公司 11271 | 代理人 | 徐国文 |
| 主权项 | 一种考虑任务相关性的Hive优化方法，其特征在于，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job。 | ||
| 地址 | 102209 北京市昌平区未来科技城北区国网智能电网研究院院内 | ||