基于双目视觉的人机交互式机械手控制系统和控制方法

摘要

本发明公开了一种基于双目视觉的人机交互式机械手控制系统和控制方法，它由以下四部分组成：实时图像采集装置、激光引导装置、可编程的控制器以及驱动装置；所述的可编程控制器由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成。采用提取实时图像采集装置双目图像中的色彩特征作为控制机械手的信号源，通过双目立体视觉系统和三维坐标系转换计算得出视野实时图像中红色特征激光点的三维信息，来控制机械手进行人机交互式的跟踪目标的操作。本发明可非常有效地对运动中的目标物体进行实时跟踪抓取，应用领域十分宽广，如智能上假肢、排爆机器人、助老助残机械手等等。

主权项

1.一种基于双目视觉的人机交互式机械手控制系统，其特征在于，它由以下四部分组成：实时图像采集装置、激光引导装置、可编程的控制器以及驱动装置；其中：(1)所述的实时图像采集装置由两个无线摄像机装置或USB摄像头组成；(2)所述的激光引导装置是由一个佩戴架和设在佩戴架上的迷你型激光器构成；(3)所述的可编程的控制器由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成；其中：(4)双目立体视觉模块用于对激光器打在无线摄像机装置或USB摄像头视野的红色激光点进行检测识别和定位；(5)三维坐标系变换模块用于将双目立体视觉模块测得的摄像机光心坐标系与激光点坐标系之间的关系换算成机械手始端的基础坐标系与目标激光点世界坐标系之间的关系；(6)逆向反解机械手关节角模块是一个已训练好的人工神经网络模型，其主要作用是，当机械手系统获得随机工作目标在基础坐标系的三维空间坐标值后，将该三个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入，以此来快速、并行地得到机械手各关节的某种可行的求解值；该模块的具体训练方法为：第一步、根据随机工作目标在操作空间的三维坐标值，画出多自由度上假肢的结构坐标关系图；第二步、根据多自由度上假肢的结构坐标系关系，将其各种参数列表，表中包括：上假肢各个连杆的扭转角度数α_n上假肢各个连杆的公垂线长度a_n，上假肢相邻连杆的间距d_n；各个关节变量及其工作范围，即转动角度范围θ_n；cos(α_n)，sin(α_n)；第三步：根据上述列表中的α_n、α_n、d_n、θ_n、cos(α_n)、sin(α_n)参数，列出各杆件的A矩阵和T矩阵；其中A矩阵描述的各个杆件坐标系相对于其前面一坐标系的位置与姿态，T矩阵描述的是假肢各个杆件末端的坐标系在操作空间的位置与姿态，以及假肢的手部在操作空间的位置与姿态；第四步：按照参数列表中各个关节的取值范围、A矩阵和T矩阵，对假肢的关节空间进行扫描，在扫描关节空间过程中，将第i次扫描的关节空间的矢量值写成q_i，其中i＝1，2…，n；第五步：将手部操作空间位置与姿态的描述简化整理写成p_i(i＝1，2…，n)，简化整理方法为：$\begin{array}{c}{p}_i(i,1)={}_{5}T\left(\mathrm{1,3}\right)={}_{5}a_{\mathrm{xi}}\\ p_i(i,2)={}_{5}T\left(\mathrm{2,3}\right)={}_{5}a_{\mathrm{yi}}\\ p_i(i,3)={}_{5}T\left(\mathrm{3,3}\right)={}_{5}a_{\mathrm{zi}}\\ p_i(i,4)={}_{5}T\left(\mathrm{1,4}\right)={}_{5}p_{\mathrm{xi}}\\ p_i(i,5)={}_{5}T\left(\mathrm{2,4}\right)={}_{5}p_{\mathrm{yi}}\\ p_i(i,6)={}_{5}T\left(\mathrm{3,4}\right)={}_{5}p_{\mathrm{zi}}\end{array},(i=\mathrm{1,2}...,n)$即：在p_i(i＝1，2…，n)中只保留了手部Z₅轴姿态和手心位置的描述；第六步：经过足够多的n次扫描后，使得假肢或机器人各关节的各种组合空间都能被离散化扫描到，使假肢在操作空间的位置与姿态通过离散化获得；将前述的q_i(i＝1，2…，n)数据整理组成集合{Q}，将前述的p_i(i＝1，2…，n)中的数据整理组成集合{P}；集合{Q}将用来作为训练人工神经网络的目标样本集；集合{P}将被用来作为训练人工神经网络的输入样本集；第七步：用集合{Q}作为训练人工神经网络的目标样本集，用集合{P}作为训练人工神经网络的输入样本集，对人工神经网络进行训练，得到训练好的人工神经网络求解模型；当人工神经网络的实际输出为时，用误差{e}去训练人工神经网络，其中：$\left\{e\right\}=\left\{Q\right\}-\left\{\hat{Q}\right\}$训练的结果使得{e}→{0}；第八步：将多自由度上假肢关节空间参数求解模型的输入向量p_n表示为：$p_n=\left[\begin{array}{c}0\\ 0\\ 1\\ x_s\\ y_s\\ z_s\end{array}\right]$第九步：将p_n作为输入向量输入前述的人工神经网络求解模型，迅速得到多自由度上假肢关节空间的运动角度；(7)控制模块用于发出跟踪指令、抓取目标指令、松开目标指令、手部抬升指令、手部下降指令、示教目标指令和停止指令；(8)所述的驱动装置包括驱动器和驱动机械手的电机；当驱动器接收到控制模块发送来的动作指令时，会即刻驱动相应的电机运转，来对机械手各个关节角进行调控，最终完成对机械手的控制。