| 主权项 |
一种大批量数据处理系统，该系统包括：缓存装置（2），用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置（4），用于对原始数据进行处理，得到数据结果；检测装置（5），用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置（7），用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置（6）中，进而保证数据的完整性；以及存储装置，用于持久性存储所述原始数据和数据结果，所述原始数据是银行业内外汇及利率的原始报价，所述数据结果是银行业内现有的外汇及利率报价结果；其中缓存装置（2）是高速存储装置，进一步包括：原始数据缓存单元（21），用于临时存储来自外部报价源的原始报价，原始报价以队列的形式存储并可以被数据处理装置（4）启动的一个或者多个数据处理单元处理；数据结果缓存单元（22），用于临时存储经数据处理装置（4）加工处理的报价结果；检测装置（5）进一步包括：数据处理检测单元（51），用于检测缓存装置（2）中原始数据缓存单元（21）的原始报价的数量，根据报价数量动态分配数据处理单元；原始数据存储检测单元（52），用于监控原始数据缓存单元（21）中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置（7）进行排水操作；数据结果存储单元（53），用于监控数据结果缓存单元（22）中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置（7）进行排水操作；数据处理装置（4）对原始报价进行处理包括报价筛选、报价解析及报价组装，其中报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，自动将超出方差区间参数的报价筛除，报价解析是从原 始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构，报价组装是将报价元素通过计算处理得到最终报价结果的过程。 |
