一种对AOS遥测数据解析的网格化方法

摘要

一种对AOS遥测数据解析的网格化方法，该方法是将集中的数据解析过程拆分成独立的服务流程，根据AOS中虚拟信道特性，将不同虚拟信道的数据发送给不同的VCDU解析服务节点处理从而将串行过程转换为并行处理过程，其步骤如下：一、利用ICE设计服务接口；二、利用C++实现接口；三、动态分派调度算法；四、负载均衡算法。该方法，可以实现AOS遥测数据的并行处理，并可根据VCDU数据格式的特点进行动态任务派发调度与负载均衡。

主权项

一种对AOS遥测数据解析的网格化方法，其特征在于：该方法是将集中的数据解析过程拆分成独立的服务流程，根据AOS中虚拟信道特性，将不同虚拟信道的数据发送给不同的VCDU解析服务节点处理从而将串行过程转换为并行处理过程，其具体步骤如下：步骤一：利用ICE设计服务接口：该ICE是面向对象的中间件,它提供面向对象的远程调用、网格计算及发布/订阅机制；ICE能运行在大多数主流操作系统上，同时支持C++，Java，.NET语言，Objective‑C,Python,PHP与Ruby；ICE应用程序能部署在多种环境下，客户端和服务端能使用不同的编程语言实现；同时它能运行在不同的操作系统平台以及不同的硬件架构上，有效解决C/S模式兼容性差，开发成本高问题；为了处理高速下行的遥测数据，采用生产者消费者模型实现了一种异步的通信方式，解析服务与派发服务均包含一个缓冲队列以接收数据以及一个处理线程负责从队列中取出数据并进行处理；基于所有服务的共性以及ICE面向对象的特点，设计服务基类接口BaseDecoder，其内容如下：声明和定义BaseDecoder，定义DataProcess的输入输出接口，定义内存分配空间GetCacheSize和GetCacheMaxSize；CADU解析服务定义DataProcess的输入输出接口，并定义DecodeCADU的接口类型和存储空间VCDU派发服务定义输入输出接口，并定义DataProcess的输入输出，同时声明registDecoder的注册空间和removeDecoder的消除空间；VCDU解析服务定义输入输出接口，并定义DataProcess的输入输出，同时声明设置变量SetId和获取变量GetId；步骤二：利用C++实现接口：通过ICE提供的slice编译器能将接口文件编译为特定开发语言的接口文件，考虑到效率性能等因素，采用C++作为开发语言，slice接口文件编译后的C++文件为抽象类，因此需要编写实现的子类；步骤三：动态分派调度算法：任务分派是网格计算的核心技术，也是网格应用的基础，高效的任务调度模型和算法能充分利用网格系统的硬件和软件资源，从而提高网格系统的性能；网格任务调度问题已被证明是一个NP完全问题，现已成为目前网格计算领域的一个研究焦点；对于分布式环境来说，节点的改变是常见的场景，由于机器故障原因导致节点消失或者节点的复原、添加，这给分布式任务的分派造成了一定的困难，必须能够实现一种可靠且高效的动态任务分派算法，能够自动适应网格中节点的变化；常用的一种技术称为DHT分布式散列表；该DHT技术应用于P2P场景,该场景中主要是同等节点之间的通信，这与对AOS遥测数据解析的网格化方法的场景具有比较大的差别；CCSDS遥测解析的串行转并行是在CADU转换为VCDU这一层的工作，根据不同的vcid将数据发送到不同的计算机节点进行解析，但是运行VCDU解析服务的节点之间并没有通信需求，数据传输主要是在分派器与VCDU解析服务之间进行，为一对多的模型；不过DHT依然具有借鉴意义，在分布式环境下如果要动态适应节点数量的变化，哈希映射是一种理想的办法；同时在处理一对多模型的通信方面，观察者模式为好的选择,因此为了解决动态分派问题,采取了哈希取模与观察者设计模式相结合的办法，派发服务与VCDU解析服务的UML图；步骤四：负载均衡算法：派发服务对VCDU解析服务的负载均衡控制原理与TCP协议的流量控制类似，即采用滑动窗口的方式；VCDU解析服务继承自BaseDecoder接口，派发服务能调用解析服务的GetCacheSize与GetCacheMaxSize函数获得VCDU解析服务缓冲区中的当前数据量和能够容纳的最大数据量，根据二者的差值决定发送给解析服务的数据量。