发明名称 基于NCR数据仓库平台的性能测算方法
摘要 本发明涉及一种基于NCR数据仓库平台的性能测算方法,属于数据仓库系统领域。本发明的方法步骤如下:(1)确定预期性能目标,即确定出满足各作业完成时间要求;(2)统计影响数据仓库平台数据量的关键因素,即统计在数据仓库应用系统中,影响数据库空间的关键因素的当前数据量及预期数据量;(3)ETL系统现有作业基础数据统计;(4)ETL系统作业折合率测算;(5)数据仓库平台的最终性能测算。本发明的有益效果如下:(1)本发明不仅能满足数据量增长、应用增长导致的数据存储要求,而且能满足各作业完成的时间要求,以及能满足各种固定应用和临时应用的及时处理;(2)本发明还具有实用、易操作、易实现、适应性较强的特点。
申请公布号 CN101145221B 申请公布日期 2011.01.05
申请号 CN200710139609.7 申请日期 2007.10.24
申请人 河北全通通信有限公司 发明人 贾殿承;张树文;乔辉;武海斌;卢建辉;庞咏;李祎;王海通;吴明
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 石家庄科诚专利事务所 13113 代理人 陈建民
主权项 1.基于NCR数据仓库平台的性能测算方法,其特征在于其方法步骤如下: (1)确定预期性能目标,即确定出满足各作业完成时间要求: a、统计扩容前完成所有作业所需的时间M<sub>1</sub>,单位为分钟; b、扩容后完成所有作业所需要的时间M<sub>2</sub>,单位为分钟; (2)统计影响数据仓库平台数据量的关键因素,即统计在数据仓库应用系统中,影响数据库空间的关键因素的当前数据量及预期数据量: 当前数据量为S<sub>1</sub>,预期数据量为S<sub>2</sub>,在此期间增加的数据量为S<sub>3</sub>=S<sub>2</sub>-S<sub>1</sub>; (3)ETL系统现有作业基础数据统计,即统计系统中作业类型、业务类型、各业务类型的作业个数,增加特定数据量前后各类作业运行时长比较: a、所述的作业类型分为基础数据类和应用类;对基础数据类作业和应用类作业进行细分,分为更小的类别,并统计各小类的现有作业个数;同时统计出现有作业总数J<sub>3</sub>和预期作业总数J<sub>4</sub>; b、统计出随着数据量的增长对作业运行时长的影响;根据实际应用,选取合适的数据增长量ΔS进行统计,统计增加数据量前后的各小类作业运行时间; c、利用下述公式计算各小类作业性能增加比例Z: <img file="S2007101396097C00011.GIF" wi="486" he="120" />A<sub>1</sub>:增加数据量前各小类别作业运行时间 A<sub>2</sub>:增加数据量后各小类别作业运行时间 Z:各小类作业性能增加比例; (4)ETL系统作业折合率测算: 测算预期关键因素的数据量的增长折合为各小类作业的增长的比例即各小类作业折合率P,根据各小类作业折合率测算预期各小类作业个数J<sub>2</sub>: a、作业折合率P的计算公式如下: <img file="S2007101396097C00012.GIF" wi="481" he="54" />P:各小类作业折合率 Z:各小类作业性能增加比例 S<sub>3</sub>:预期增加的数据量; b、预期各小类作业个数J<sub>2</sub>的计算公式如下: J<sub>2</sub>=J<sub>1</sub>×P<img file="DEST_PATH_IMAGE002.GIF" wi="83" he="16" />(3)J<sub>2</sub>:预期各小类作业个数 J<sub>1</sub>:现有各小类作业个数 P:各小类作业折合率; c、按照上述公式(2)和(3)计算出各小类作业的作业折合率以及预期各小类作业个数; (5)数据仓库平台的最终性能测算: a、首先按下式计算估算增加性能T: <img file="S2007101396097C00021.GIF" wi="456" he="120" />T:估算增加性能 N<sub>1</sub>:现有作业平均运行时间,<img file="S2007101396097C00022.GIF" wi="182" he="119" />M<sub>1</sub>:扩容前完成所有作业所需的时间,单位:分钟 J<sub>3</sub>:现有作业总个数 N<sub>2</sub>:期望作业平均运行时间,<img file="S2007101396097C00023.GIF" wi="193" he="120" />M<sub>2</sub>:扩容后完成所有作业所需的时间,单位:分钟 J<sub>4</sub>:预期作业总个数; b、按下式计算目前数据仓库平台的总性能T<sub>1</sub>: T<sub>1</sub>=G<sub>1</sub>×TP<sub>1</sub>+G<sub>2</sub>×TP<sub>2</sub>+…+G<sub>n</sub>×TP<sub>n</sub><img file="329128DEST_PATH_IMAGE002.GIF" wi="83" he="16" />(5)T<sub>1</sub>:目前数据仓库平台的总性能 TP<sub>1</sub>、TP<sub>2</sub>、……、TP<sub>n</sub>:各种型号数据库服务器的Tperf值 G<sub>1</sub>、G<sub>2</sub>、……、G<sub>n</sub>:各种型号数据库服务器的数量; c、按下式计算达到预期性能所需要增加的Tperf值T<sub>2</sub>: T<sub>2</sub>=T<sub>1</sub>×T<img file="183952DEST_PATH_IMAGE002.GIF" wi="83" he="16" />(6)T<sub>2</sub>:达到预期性能所需要增加的Tperf值 T<sub>1</sub>:目前数据仓库平台的总性能 T:估算增加性能; d、进行系统实测: 根据上述公式(5)和(6),依据新扩容的NCR主机的型号,计算出为满足性能要求所需增加NCR主机的台数,计算公式如下: <img file="S2007101396097C00031.GIF" wi="570" he="106" />G:所需增加NCR主机的台数 T<sub>2</sub>:达到预期性能所需要增加的Tperf值 TP:新扩容的单台NCR主机的Tperf值。 
地址 050021 河北省石家庄市青园街220号