基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法

摘要

一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上。本发明具有采摘识别率高、边采摘边分级分类、空间定位计算量少、空间定位高等优点。

主权项

一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求固定，并保证两个ODVS的主轴在同一直线上；所述的微处理器包括：视频图像读取单元，用于读取两个相同成像参数的ODVS的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；视频图像展开单元，用于对ODVS获取的原始视频图像进行图像预处理，图像预处理中首先对全方位图像进行展开，展开全景图保存在指定的存储单元中，其输出与采摘对象识别模块和比较标准特征参数抽取模块相连接；采摘对象识别模块，用于根据采摘对象的颜色和外形特征对采摘机器人周围的展开全景图中的采摘对象进行识别，其输出与采摘对象分类模块和采摘点匹配单元相连接；采摘对象分类模块，用于根据各种不同的采摘对象的分类标准指标库中相对应的采摘对象的分类标准对采摘对象进行分类分级，其输出与采摘对象分类控制模块相连接；各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和颜色与外形特征值；采摘点匹配单元，用于找出同一时刻两个不同视点的图像中同一采摘对象的中心点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与机械手空间位置计算单元连接；机械手空间位置计算单元，用于计算机械手的采摘端的空间位置，其输出控制机械手的动作，完成采摘任务；采摘对象分类控制模块，用于控制将分类分级后的采摘对象收集或分拣到相对应的采摘对象容器中；所述的采摘对象识别模块中，通过被采摘对象的颜色特征进行识别，利用被采摘对象的颜色色差信息进行图像识别，针对每种不同的采摘对象通过实验研究，将能对某种采摘对象进行有效识别的特征值写入到各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，每一种采摘对象在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的采摘对象识别模块根据某个规定的采摘对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现采摘对象识别的目的；所述的采摘对象分类模块，用于对识别出来的采摘对象进行分类分级，对所采收的采摘对象进行不同分级分仓归类，以减少后续的人工分拣分级的劳动；所述的采摘对象分类模块根据采摘对象的分类分级标准进行判断，根据采摘对象的视觉特征进行分类；每种采摘对象的分类分级标准在视觉特征上都存在着相对应的描述表达；所述的采摘对象分类模块，在采摘对象分类过程中，首先读取所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值或者指标值；接着采用数字图像处理方法计算每个被采摘对象的各项指标，分别取各指标的平均值作为参考形状的特征参数；然后对被采摘对象作相应的参数计算，并与所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值进行比较，其差值即为被采摘对象的识别特征参数；最后根据识别特征参数对采摘对象进行分类，分类的结果输出给采摘对象分类控制模块，采摘对象分类控制模块控制机械手将采摘对象收集或分拣到相对应的分类分级容器中；关于半径指标、曲率指标、连续性指标、半径指标的对称性、曲率指标的对称性和连续性指标的对称性的判断均采用数字图像处理和模式识别技术进行加工和处理；所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和特征参数，分类标准指标和特征参数主要来源是：1)国家、行业的有关采摘对象的相关标准，对于棉花分级标准有《棉花颜色级检验技术规范》；2)按某一种采摘对象的不同等级，对其的颜色和外形进行图像分析，得到该采摘对象的各种不同等级的特征参数；因此，写入所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库也有两种对应的方法，一种方法是人工输入，即以采摘对象为主键、以采摘对象的分类分级识别代码为第二关键词，将该采摘对象某等级的标准指标和特征参数写入数据库中；另一种方法是采用图像识别和分析的方式，从给定的采摘对象等级实物图像中抽取出该采摘对象等级的特征参数作为分类标准；所述的空间信息计算单元，依据所述的采摘对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的采摘对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；两个ODVS的入射角，即φ1和φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，公式(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；$\begin{array}{c}\tan \phi =\frac{\left|\right|u^{\prime \prime }\left|\right|}{f\left(\right|\left|u^{\prime \prime }\right|\left|\right)}=\\ \frac{\left|\right|u^{\prime \prime }\left|\right|}{a_0+a_1\left|\right|u^{\prime \prime }\left|\right|+a_2{\left|\right|u^{\prime \prime }\left|\right|}^2+...+a_N{\left|\right|u^{\prime \prime }\left|\right|}^N}\end{array}---\left(7\right)$式中，φ1和φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u″的垂直距离||u″||，因此可以通过公式(7)计算出φ1和φ2；接着利用三角关系公式(8)，求O点与P点的距离r；$\begin{array}{c}r=\overline{\mathrm{OP}}=\sqrt{{\overline{\mathrm{AP}}}^2+{(\mathrm{dc}/2)}^2-2\overline{\mathrm{AP}}(\mathrm{dc}/2)\cos A}\\ =\sqrt{{[\frac{\mathrm{dc}}{\sin (A+B)}·\sin B]}^2+{(\mathrm{dc}/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}·\sin B\cos A}\\ =\sqrt{{[\frac{\mathrm{dc}}{\sin (\phi 1+\phi 2)}·\sin \phi 1]}^2+{(\mathrm{dc}/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\phi 1+\phi 2)}·\sin \phi 1\cos \phi 2}\end{array}---\left(8\right)$式中，∠A＝180°‑φ2，∠B＝180°‑φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为采摘对象中心点P到O点的距离。