一种针对多点目标的立体视觉光学跟踪系统

摘要

本发明公开了一种针对多点目标的立体视觉光学跟踪系统，属于机器视觉和定位跟踪技术领域。本系统采用基于硬件实现的方式，通过利用双目摄像机采集目标和背景的原始图像，利用并行流水线对目标进行快速识别和标记，采用双核数字信号处理器进行并行计算，完成对目标的空间定位和跟踪。将并行流水线处理和双核串行计算相结合，根据不同的算法特点，合理地分配硬件资源。本系统摆脱了PC机或工作站的束缚，打破了PC机或工作站的软件计算资源瓶颈。本发明能够在不同的光照环境和目标发光强度条件下，对空间中的多个点目标进行实时定位和跟踪，可实时、不丢帧地跟踪空间中超过100个点目标，跟踪精度能够达到0.5mm RMS。

主权项

一种针对多点目标的立体视觉光学跟踪系统，包括图像采集模块、电源模块，其特征在于，还包括目标标记与识别模块与目标定位跟踪模块；目标标记与识别模块：基于并行流水线方式，用于实现双目或多目同步原始图像中目标的识别和标记，即，识别目标重心在同步原始图像中的二维位置，并给每一个点目标赋予一个唯一的标记；目标标记与识别模块包括一片FPGA芯片以及一片FPGA配置芯片，用于对双目或多目同步原始图像数据进行处理；目标定位跟踪模块：用于实现目标的三维空间定位和对运动目标的跟踪；目标定位跟踪模块由至少一片双核DSP、一片DSP指令存储芯片以及一片SDRAM组成；双核DSP接收FPGA芯片处理得到的目标识别和标记结果，并在每片图像传感器的帧回扫过程中进行多点目标定位；SDRAM对处理过程中的临时数据进行缓存，此外，通过将原始图像数据直接传入SDRAM，然后转存成图像文件，以此作为摄像机标定过程所需要的原始图像；DSP指令存储芯片用于存储双核DSP的指令；DSP指令存储芯片与双核DSP之间通过SPI接口相连，SDRAM与双核DSP之间通过数据总线和地址总线相连；上述组成部分的连接关系如下：当图像传感器为串行输出时，目标标记与识别模块中FPGA芯片的输入端同图像采集模块中的图像传感器数据解串芯片的输出端相连；当图像传感器为并行输出时，目标标记与识别模块中FPGA芯片的输入端分别同图像采集模块中每片图像传感器的输出端相连；FPGA芯片的数据输出接口同目标定位跟踪模块中双核DSP的数据输入接口相连接，双核DSP的输出端同系统外部的上位机的数据输入端相连；电源模块分别同上述各模块相连；本系统的工作过程及部件间的信号转换关系如下：首先，利用图像采集模块中的图像传感器采集目标和背景的原始双目或多目图像，并将图像数据送入目标标记与识别模块中的FPGA芯片中；然后，在目标标记与识别模块中，采用并行流水线方式实现原始双目或多目图像中所有点目标的重心识别和连通域的最终标记；当所有点目标的重心识别和标记完成后，将识别和标记结果发送至目标定位跟踪模块中的双核DSP内进行并行计算，实现目标的定位和跟踪，最终结果送至系统外部的上位机中供应用系统使用。