在分布式网络系统中处理跨任务数据的方法

摘要

本发明属网络信息技术领域，涉及一种用于在包括主节点和多个从节点的网络系统中处理跨任务数据，包括在每一从节点上提供一对应的缓存；将在从节点执行的当前任务的数据保存于对应的缓存中并产生一包含关于保存数据及其节点位置信息的消息，将该消息发送至主节点；在网络中的任一从节点请求执行一后续任务，且该后续任务所需要的数据与先前保存的数据相同时，主节点产生一调度指令给保存同样数据的从节点，令其用先前保存的相同数据执行该后续的任务，从而实现跨任务数据的重复使用，避免从分布式文件系统重复加载相同的数据输入，提高对相同数据的多次访问的速度，并有效减少网络通信量。

主权项

一种在分布式网络系统中处理跨任务数据的方法，其特征在于，该方法包括从主节点和多个从节点的网络系统中处理跨任务数据。