采用双核处理器对输入视频进行结构化描述的装置和方法

摘要

本发明公开了一种采用双核处理器对输入视频进行结构化描述的装置及方法，其核心为双核控制芯片，这种系统可通过单芯片的双核DSP处理器对视频进行处理分析，把图像分成若干个片断和子区域，并对视频图像片断和子区域进行特征提取和高级语义分析处理，最后对视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，并通过有线和无线两种方式进行网络传输。这些编码数据既是视频图像特征和内容的结构化描述，方便用户进行查询、检索和浏览，使监控视频数据得到有效应用和管理。

主权项

采用双核处理器对输入视频进行结构化描述的装置，其核心为双核控制芯片，所述双核控制芯片通过接口连接有图像采集模块、视频结构化描述程序存储器、高速动态数据存储器、断电保存程序存储器、网络传输模块、串行数据模块和电源，其特征在于，双核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均与高速动态数据存储器连接；所述ARM核控制图像采集模块中的图像A/D采样模块对输入的原始视频图像进行A/D采样和转换，得到图像数字信号后传输给高速动态数据存储器，并向DSP核发送控制信号；所述图像A/D采样模块采用TVP5146芯片，视频数据通过TVP5146视频编解码芯片转换成10bit YUV4：2：2格式，然后送至视频前端处理；视频前端处理包括预览引擎、直方图模块、图像缩放模块和自动聚焦／曝光，白平衡模块处理；处理完的数据送到视频后端处理或者送到DSP做进一步处理或存入硬盘；视频后端主要包括OSD模块和视频编码模块，视频数据经过视频编码模块处理后可以有模拟／数据多种显示格式；DSP核收到控制信号后，DSP核获取高速动态数据存储器中的图像数字信号，并对其进行镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割，得到若干视频图像片段、关键帧和子区域；然后对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获取图像特征和高级语义数据，最后对原始视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，编码完毕后发送反馈信号给ARM核；所述ARM核接收到反馈信号后，控制网络传输模块对视频图像的编码和视频图像结构化描述数据的编码进行网络传输；所述高速动态数据存储器由2片MT47H64M16BT芯片组成，该MT47H32M16的时钟信号采用一对差分信号CK和CK#，同时将CK信号上升沿与CK#信号的下降沿的交叉点作为系统时钟的正沿，在系统时钟的正沿进行锁存命令，使得MT47H32M16的输入数据和DQS信号的两个边沿有关，而输出数据和DQS及CK时钟的两个边沿有关。