实现视频监控系统中语音对讲同步录音及回放的方法

摘要

本发明公开了一种实现视频监控系统中语音对讲同步录音及回放的方法，涉及安防领域。本方法的实现步骤是：实时双向语音对讲；语音对讲同步录音；语音对讲录音回放。本发明实现了视频监控系统中语音对讲实时同步录音；优化了语音对讲双向音频流合成；实现了语音对讲录音数据回放；适用于金融行业、司法行业、平安城市或平安校园等需要应急求助的场合，建立了简单有效的及时沟通方案，能应对各种突发事件并用于事后相关取证。

主权项

一种实现视频监控系统中语音对讲同步录音及回放的方法，包括：第1步骤、实时双向语音对讲当监控客户端发起语音对讲请求时，中心管理单元建立起基于媒体分发单元的双向语音链路，包括监控客户端与媒体分发单元之间和媒体分发单元与前端摄像机之间的双向语音链路；监控客户端采集音频数据并通过媒体分发单元转发到前端摄像机，前端摄像机收到音频数据并播放音频数据，同时前端摄像机采集音频数据并通过媒体分发单元转发到监控客户端，监控客户端收到音频数据并播放音频数据，实现双向语音对讲；监控客户端和前端摄像机采集G.711格式的语音数据，采样频率为M，采集的第N个音频包时戳ts＝(G.711采用率/采样频率M)×(N‑1)，N为自然数；第2步骤、语音对讲同步录音当实时双向语音对讲建立后，媒体分发单元同时将两路语音对讲音频流转发到媒体存储单元，媒体存储单元收到两路音频流，将时戳相同的音频包合成为一个混音包，将合成的混音包写入存储设备，实现语音对讲同步录音；第3步骤、语音对讲录音回放监控客户端通过录制时间、用户名、摄像机设备ID条件查询到对应的录音文件并发起录音数据回放请求，通过实时流传输协议建立监控客户端和媒体回放单元的媒体传输链路，媒体回放单元读取存储设备中的录音包发送给监控客户端，监控客户端对录音数据进行解码播放；其特征在于：所述的第1步骤、实时双向语音对讲具体是：①监控客户端(30)初始化语音采集模块和语音播放模块，同时向中心管理单元(21)发送INVITE消息，消息体中携带SDP消息，携带监控客户端(30)的音频流接收和发送的IP、端口信息(211)；②中心管理单元(21)收到监控客户端(30)的语音对讲INVITE请求后，修改SDP消息体中的音频流接收和发送的IP、端口信息为媒体分发单元(22)与前端摄像机对应的接收和发送的IP、端口信息，然后向前端摄像机(10)转发修改后的语音对讲INVITE请求(212)；③前端摄像机(10)收到中心管理单元(21)的语音对讲INVITE请求后，初始化语音采集模块和语音播放模块，同时向中心管理单元(21)回复200OK响应，消息体中携带SDP消息，表明前端摄像机(10)的音频流接收和发送的IP、端口信息(213)；④中心管理单元(21)收到前端摄像机(10)的响应消息后，向媒体分发单元(22)发送通知媒体分发单元(22)与监控客户端(30)对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元(22)开始接收来自监控客户端(30)的音频流，并向前端摄像机(10)转发(214)；⑤中心管理单元向媒体分发单元(22)发送通知媒体分发单元(22)与前端摄像机(10)对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元(22)开始接收来自前端摄像机(10)的音频流，并向监控客户端(30)转发(215)；⑥中心管理单元(21)向前端摄像机(10)发送ACK消息确认会话建立(216)；⑦媒体分发单元(22)收到中心管理单元(21)的通知媒体分发单元(22)与监控客户端(30)对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元(21)回复响应消息(217)；⑧媒体分发单元(22)收到中心管理单元(21)的通知媒体分发单元(22)与前端摄像机(10)对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元(21)回复响应消息(218)；⑨中心管理单元(21)收到响应消息后，修改前端摄像机(10)200OK响应消息中SDP消息体的音频流接收和发送的IP、端口为媒体分发单元(22)与监控客户端(30)对应的接收和发送的IP、端口，向监控客户端(30)回复200OK响应(219)；⑩监控客户端(30)收到中心管理单元(21)的响应消息后，向中心管理单元(21)发送ACK确认会话建立，至此监控客户端(30)与前端摄像机(10)的媒体链路建立成功，监控客户端(30)和前端摄像机(10)分别采集编码后的G.711音频数据，封装为标准RTP包进行传输，监控客户端(30)和前端摄像机(10)采集到的第N个音频数据包的时戳ts＝(G.711的采样率/采样频率)*(N‑1)，N为自然数(220)；所述的第2步骤、语音对讲同步录音具体是：A、中心管理单元(21)向媒体存储单元(23)发送语音对讲录音请求消息，携带对讲双方的标识信息(311)；B、媒体存储单元(23)收到请求后向中心管理单元(21)发送回复消息(312)；C、媒体存储单元(23)针对对讲双方中的监控客户端(30)向中心管理单元(21)发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元(23)针对客户端(30)的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据(313)；D、媒体存储单元(23)针对对讲双方中的前端摄像机(10)向中心管理单元(21)发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元(23)针对前端摄像机(10)的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据(314)；E、中心管理单元(21)收到针对对讲双方中的监控客户端(30)的录音存储INVITE请求后，将实时语音对讲建立过程中监控客户端(30)INVITE请求消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元(22)与媒体存储单元(23)对应的发送的IP和端口信息，然后向媒体存储单元(23)回复200OK响应(315)；F、中心管理单元(21)收到针对对讲双方中的前端摄像机(10)的录音存储INVITE请求后，将实时语音对讲建立过程中前端摄像机(10)的200OK回复消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元(22)与媒体存储单元(23)对应的发送的IP和端口信息，然后向媒体存储单元(23)回复200OK响应(316)；G、媒体存储单元(23)收到针对对讲双方中的监控客户端(30)的录音存储INVITE请求的200OK响应时向中心管理单元(21)发送ACK请求确认会话建立，开始接受来自监控客户端(30)的音频流(317)；H、媒体存储单元(23)收到针对对讲双方中的前端摄像机(10)的录音存储INVITE请求的200OK响应时向中心管理单元(21)发送ACK请求确认会话建立，开始接受来自前端摄像机(10)的音频流(318)；I、中心管理单元(21)向媒体分发单元(22)发送控制消息，通知媒体分发单元(22)其与媒体存储单元(23)对应的音频流发送IP和端口信息，使媒体分发单元(22)开始向媒体存储单元(23)转发来自监控客户端(30)的对讲音频流(319)；J、媒体分发单元(22)收到中心管理单元(21)的控制消息后，向中心管理单元(21)发送200OK响应(320)；K、中心管理单元(21)向媒体分发单元(22)发送控制消息，通知媒体分发单元(22)其与媒体存储单元(23)对应的音频流发送IP和端口信息，使媒体分发单元(22)开始向媒体存储单元(23)转发来自前端摄像机(10)的对讲音频流(321)；L、媒体分发单元(22)收到中心管理单元(21)的控制消息后，向中心管理单元(21)发送200OK响应(322)；M、媒体存储模块将接收到的双向音频数据流中时戳相同的两个音频包合成一个混音包，生成语音对讲混音流；所述的生成语音对讲混音流是：a、从视频监控平台获取单通道16位量化的两路音频，获取时戳相同的音频包音频数据src1和src2(41)；b、算出每一路音频对应的音频量化值v1及v2(42)；c、每一路音频的第一个字节数据v1及v2，解码时通过index查表得shortint类型16位量化值v1’及v2’(43)；d、混音数据val＝0.8*(v1’+v2’)(44)，若val>32767，取val＝32767(45)；若val<‑32768，取val＝‑32768(46)；e、将16位val按g711编码算法得到8位v’值，即为新包数据(47)；f、取src1和src2后续字节数据，重复上述步骤a‑e，完成语音对讲流合成(48)；N、将媒体存储单元(23)将生产的混音流写入存储设备(25)，完成语音对讲的录音(323)；所述的第3步骤、语音对讲录音回放具体是：ⅰ、监控客户端(30)和媒体回放单元(24)建立RTSP连接，监控客户端(30)发送DESCRIBE请求消息，表明要播放的录音文件的标识信息(511)；ⅱ、媒体回放单元(24)收到请求消息后查找该录音文件，并回复200OK响应，携带SDP消息表明该录音文件中语音对讲录音音频流的相关信息(512)；ⅲ、监控客户端(30)发送SETUP请求消息(513)；ⅳ、媒体回放单元(24)收到请求消息后回复200OK响应(514)；ⅴ、监控客户端(30)发送PLAY请求消息，表明启动音频流传输(515)；ⅵ、媒体回放单元(24)收到请求消息后回复200OK响应，使用前述步骤ⅱ中与监控客户端(30)约定的传输方式TCP/UDP开始向监控客户端(30)发送音频流(516)。