机器人遥操作增强现实实验系统及方法

摘要

本发明公开了一种机器人遥操作增强现实实验系统及方法，该系统包括机器人、双路视频采集装置、服务器、客户端和显示装置。双路视频采集装置采集场景数据并将采集到的双路视频流发送至服务器；服务器接收双路视频流和机器人的姿态参数，并对数据进行处理传送给客户端；客户端对服务器传送的双路视频流和机器人姿态参数进行数据处理并建立虚拟互动模型，通过客户端发送指令对虚拟互动模型进行各类操作；客户端建立的虚拟互动模型在立体显示装置中动态显示。本发明的机器人遥操作增强现实实验系统及方法，建立了增强现实仿真试验的环境，能够以三维立体方式显示机器人与实际场景，并建立遥操作互动信息模型，进行相应实验操作。

主权项

一种机器人遥操作增强现实实验系统，其特征在于，包括机器人、双路视频采集装置、服务器、客户端和显示装置，其中，机器人用于实现抓取物体的具体操作；双路视频采集装置设置在机器人上，用于获取同步第一路和第二路视觉影像所描绘的场景数据，并输出双路视频流；服务器用于接收双路视频采集装置输出的双路视频流和机器人的姿态参数并进行数据处理；客户端用于对服务器传送的双路视频流和机器人姿态参数进行双路视频影像合成、场景中对象物体的三维重构、影像融合处理，并建立虚拟人‑机‑场景互动模型，通过客户端发送机器人控制指令对虚拟人‑机‑场景互动模型进行各类操作；其中，双路视频影像合成包括对获取的所述第一路和第二路视觉影像执行影像公共视域截取；确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像；场景中对象物体的三维重构包括1)采集要识别物体影像；2)对影像进行滤波、去噪、畸变校正预处理；3)对采集的物体影像进行特征提取，即提取影像特征；4)提供物体模型知识库，该物体模型知识库包括N个物体模型，其中，N≥1；5)调取物体模型知识库中的第一物体模型；6)对该提取的物体模型进行特征提取，即提取模型特征；7)将影像特征与模型特征进行对比；8)如果影像特征与模型特征匹配率不小于设定临界值，则该要识别的物体被识别为该提取的物体模型，作为备选模型；9)如果影像特征与模型特征边界匹配率小于设定临界值，则从物体模型知识库中调取与第一物体模型不同的第二物体模型，在调取第二物体模型之前，首先判断是否第一物体模型是否为物体模型知识库中的最后一个模型，如果不是，调取下一个模型；并重复执行步骤6)提取模型特征、7)特征对比的步骤，遍历物体模型知识库中的第三、第四物体模型......第N物体模型，直至寻找到采集的影像特征与提取的模 型特征相匹配的物体模型为止；影像融合处理是把虚拟的三维物体融合在合成的真实场景立体视觉帧场景图像中；显示装置用于动态立体显示机器人与场景。