基于异构多核构架的红外光与可见光图像实时融合系统

摘要

本发明公开了一种基于异构多核构架的红外光与可见光图像实时融合系统。系统以ARM核和DSP核为核心的异构多核处理器，负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出。ARM核负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；DSP核负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行实时编码压缩。实时融合采用建立三层拉普拉斯金字塔结构进行。本发明具有运算效率高、兼容性好、可扩展性强,软件开发方便高效的、适应性强等特点。

主权项

一种基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统构建一个以ARM核和DSP核为核心的异构多核处理器，在ARM核与DSP核之间采用CMEM和DSPlink接口模块；ARM核与DSP核之间数据调用接口采用Codec Engine调用接口模板；异构多核处理器负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出；在异构多核处理器内部，ARM核运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhat linux；负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；在DSP核使用CCS集成开发环境，运行DSP/BIOSS实时操作系统，负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行H.264实时编码压缩；在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器；可见光数据和红外光数据分别经过各自的视频输入口通道进入系统后，经各自的多路视频放大器放大、增强数据驱动能力，放大后的可见光数据和红外光数据均分为2路，一路数据完全保留并经视频旁路视频输出口分别显示输出，另外一路送入A/D视频转换芯片，经数字化后送入异构多核处理器进行数据采集融合处理，融合后的数据经视频D/A转换芯片处理后，实时融合视频从视频输出口输出，同时，融合后的视频数据经过H264实时编码压缩，压缩后的视频数据经网络物理层控制器从网络接口输出；系统的运行流程：首先，ARM端采集红外光视频数据和可见光视频数据，DSP端获取视频缓存后,对红外光输入图像进行图像增强预处理和图像配准预处理，在DSP端进行图像融合，融合后的图像数据发送到ARM端显示融合结果，输出融合后的视频，同时，DSP端对融合的图像进行H264视频编码压缩，压缩后再经ARM端网络数据传输网络视频数据。