一种基于医药视觉检测机器人图像校正的药瓶异物检测方法

摘要

本发明公开了一种基于医药视觉检测机器人图像校正的药瓶异物检测方法，通过基于药瓶特征的确定，准确计算出药瓶的旋转角度和水平偏移量，基于模板匹配方法，以最大匹配度的方式确定纵向偏移量，实现图像的精密校正，然后再通过差分、二值化、叠加等操作，实现医药异物的合格性判断。能够在机械防抖抑制不足的环境下使用的序列图像高精密配准方法，有效的弥补了硬件的不足，适用于安瓿、大输液、口服液、软袋等医药异物视觉检测机器人的高速高精度检测。

主权项

一种基于医药视觉检测机器人图像校正的药瓶异物检测方法，其特征在于，包括以下步骤：步骤1：图像采集；连续采集N帧医药序列图像Image＝{Image₀，Image₁…Image_N‑1}；步骤2：对序列图像进行预处理，得到每帧图像的感兴趣区域；依次对序列图像Image的每帧图像进行图像处理，得到所有图像中药瓶区域的序列图像ImageReduced，对每帧图像的具体处理方法如下：1)令i＝0，i表示序列图像中的第i帧，取值范围是0～(N‑1)；2)对图像Image_i进行二值化处理，生成二值图像BinImage_i，二值化处理中的阈值设为T_i，保证二值图像BinImage_i中瓶体对象与背景完全分离；3)对二值图像BinImage_i进行连通域搜寻操作，生成连通域Connections_i[m]，m为每帧图像的连通域个数；4)计算图像BinImage_i中的每个连通域的面积Areas[m]，连通域Connections_i[m]的面积为连通域内所有像素点P_m的总数，其中，{P_m|P_m∈Connections_i[m]}；5)选取图像BinImage_i中面积最大的连通域Connections_i[Areas_max]，作为待处理的药瓶特征，其中Areas_max为Connections_i[m]中面积最大值的连通域对应的连通域标号m；6)对面积最大连通域Connections_i[Areas_max]进行填充处理，保证该连通域为实心连通域，然后以9×9的矩形膨胀因子对填充后的连通域进行膨胀，将膨胀后得到的连通域作为当前图像中药瓶的感兴趣区域ROI(Region Of Interest)，即当前图像中药瓶区域图像ImageReduced_i；步骤3：依次定位药瓶在每帧图像ImageReduced_i中的位置，计算每帧图像ImageReduced_i中药瓶的倾斜角度，获得每帧图像ImageReduced_i中定位药瓶位置的所需数据，步骤如下：1)计算每帧图像ImageReduced_i中面积最大的连通域Connections_i[Areas_max]的重心P(x₀,y₀)，计算公式为：$P(x_0,y_0)=\left\{(x_0,y_0)\right|x_0=\underset{i=0}{\overset{M}{\Sigma }}{x}_i/M,y_0=\underset{i=0}{\overset{M}{\Sigma }}{y}_i/M\}$其中，M为连通域Connections_i[Areas_max]的像素总数，0≤i≤M‑1；2)经过重心P(x₀,y₀)作与药瓶两瓶壁边缘相交的线段，并计算线段的斜率，最短线段的斜率对应的角度即为瓶体的定位倾斜角度θ_min；3)以重心P(x₀,y₀)为原点，作与2)得到的最短线段平行等距的采样线l₁…l_n，相邻两采样线之间的距离为d，然后，分别以所有采样线与药瓶边缘的交点作为中心点，从图像ImageReduced_i中选取大小为30×30的采样窗口R1…Rn，L1…Ln，n为正整数，n≥2，药瓶定位的数据为采样窗口中的数据；步骤4：对步骤3所得的药瓶采样窗口中的数据，利用亚像素级图像阈值分割和hough变换方法，确定药瓶的水平位移和旋转角度，具体操作过程如下；1)采用canny算子对采样窗口中瓶壁边缘进行检测，得到采样窗口中瓶壁的边缘像素点点集，瓶壁左侧边缘上采样窗口中的边缘像素点点集为P_l1^*…P_ln^*和瓶壁右侧边缘上采集窗口的边缘像素点点集为P_r1^*…P_rn^*；2)依次对瓶壁左侧边缘与采样窗口相交的像素点点集P_li^*进行hough变换，计算出左边缘拟合直线y＝k_li·x+b_li，其中1<i<n，并根据hough变换中的累加器数组，确定数组中最大值所对应的像素点点集L^*_i，作为左边缘最相关点集合；依次对瓶壁右侧边缘与采样窗口相交的像素点点集P_ri^*进行hough变换，计算右侧边缘拟合直线y＝k_ri·x+b_ri，其中1<i<n，并根据hough变换中的累加器数组，确定数组中最大值所对应的像素点点集R^*_i，作为右侧边缘最相关点集合；3)对左侧边缘相关点集合L^*_i和拟合直线y＝k_li·x+b_li进行数据分析，计算出左侧边缘最佳拟合直线；分别对拟合直线序列中斜率参数k_li(0≤i≤n)和截距参数b_li(0≤i≤n)进行排序，求取拟合直线中k_li和b_li的均值Avg_Kl、Avg_bl，方差S_Kl、S_bl，最大值max_Kl、max_bl和最小值min_Kl、min_bl，对左侧边缘最佳拟合直线y＝k_L^*·x+b_L^*进行迭代计算：a)若S_Kl≤ε且S_bl≤ξ，ε和ξ均为设定阈值，则左侧边缘最佳拟合直线的方程为y＝Avg_Kl·x+Avg_bl；b)若S_Kl>ε或S_bl>ξ，ε、ξ为设定阈值，则比较{|max_Kl‑Avg_Kl|，|min_Kl‑Avg_Kl|}或{|max_bl‑Avg_bl|，|min_bl‑Avg_bl|}的大小，并从左侧边缘相关点集合L^*中除去偏离平均值Avg_Kl或Avg_bl最大的边缘最相关点集L^*_i；然后重新执行3)；若左侧边缘相关点集合L^*仅包含2组采集窗口数据集合时，停止迭代，然后对所有左侧边缘点集集合P_l1^*…P_ln^*进行hough变换，生成最佳拟合曲线y＝k_L^*′·x+b_L^*′；否则，则返回3)，获取左侧最佳边缘拟合直线；4)对右侧边缘相关点集合R^*_i和拟合直线y＝k_ri·x+b_ri进行数据分析，计算出右侧边缘最佳拟合直线；分别对拟合直线序列中斜率参数k_ri(0≤i≤n)和截距参数b_ri(0≤i≤n)进行排序，求取拟合直线中k_ri和b_ri的均值Avg_Kr、Avg_br，方差S_Kr、S_br，最大值max_Kr、max_br和最小值min_Kr、min_br，对右侧边缘最佳拟合直线y＝k_R^*·x+b_R^*进行迭代计算：a)若S_Kr≤ε且S_br≤ξ，ε和ξ均为设定阈值，则右侧边缘最佳拟合直线的方程为y＝Avg_Kr·x+Avg_br；b)若S_Kr>ε或S_br>ξ，ε、ξ为设定阈值，则比较{|max_Kr‑Avg_Kr|，|min_Kr‑Avg_Kr|}或{|max_br‑Avg_br|，|min_br‑Avg_br|}的大小，并从右侧边缘相关点集合R^*中除去偏离平均值Avg_Kr或Avg_br最大的边缘最相关点集R^*_i；然后重新执行4)；若右侧边缘相关点集合R^*仅包含2组采集窗口数据集合时，停止迭代，然后对所有右侧边缘点集集合P_r1^*…P_rn^*进行hough变换，生成最佳拟合曲线y＝k_R^*′·x+b_R^*′；否则，则返回4)，获取右侧最佳边缘拟合直线；5)计算药瓶的旋转角度θ^*和水平平移量X^*；通过3)和4)得到药瓶两瓶壁边缘的拟合直线，将两拟合直线的角平分线作为衡量药瓶倾斜程度的倾斜标准线，则有：$X^{*}=(-\frac{b^{*}}{\tan \left({\theta }^{*}\right)}+\frac{{b_R}^{*}-{b_L}^{*}}{{k_L}^{*}-{k_R}^{*}}),$${\theta }^{*}=\frac{\arctan \left({k_R}^{*}\right)+\arctan \left({k_L}^{*}\right)}{2},$$b^{*}=\frac{{k_L}^{*}·{b_R}^{*}-{k_R}^{*}·{b_L}^{*}}{{k_L}^{*}-{k_R}^{*}};$步骤5：依次对序列图像Image的每帧图像进行第一次校正；按照水平平移量X^*进行平移，并按照药瓶倾斜角θ^*进行旋转变换，平移与旋转变换过程中采用二次插值算法，变换矩阵为R_i：$R_i=\left[\begin{array}{ccc}\cos {{\theta }^{*}}_i& \sin {{\theta }^{*}}_i& \frac{\mathrm{ImageWidth}}{2}-\frac{b^{*}}{\tan \left({{\theta }^{*}}_i\right)}+\frac{{b_{\mathrm{Ri}}}^{*}-{b_{\mathrm{Li}}}^{*}}{{k_{\mathrm{Li}}}^{*}-{k_{\mathrm{Ri}}}^{*}}\\ -\sin {{\theta }^{*}}_i& \cos {{\theta }^{*}}_i& 0\\ 0& 0& 1\end{array}\right],$ImageWidth为图像宽度；经过旋转与水平平移后，生成新的序列图像ImageR_i，i为小于N的整数；步骤6：采用模板匹配，获取相邻帧图像的纵向偏移量，对图像进行第二次校正；1)选取两帧相邻的图像ImageR_i和ImageR_i+1，分别在两帧图像中的点P′(x₀′,y₀′)处建立用户坐标系UCS，其中，x₀′＝ImageWidth/2，y₀′＝ImageHeight/10，ImageHeight为图像高度；2)在用户坐标系UCS中设置n个模版对[P_j,P_j+1]，j的取值范围为1～n，n为正整数，模板对必须满足以下条件：(1)模板对在用户坐标系中关于y轴对称分布，模板对间距离为10～30像素距离；(2)模版对在用户坐标系中的竖直方向均匀分布且布满大部分感兴趣区域；(3)模板中的模板为15‑25个像素的正方形；3)通过灰度直方图方法对图像ImageR_i和ImageR_i+1选取最优匹配模板；分别对图像ImageR_i、ImageR_i+1中的对应模板进行灰度直方图统计，得到灰度直方图矩阵i为图像帧序列编号，j为模板匹配序列编号；分别计算和的方差并对进行排序，选取排列在前三的方差对应的3个模板作为初步匹配模板，然后，比较这3个初步匹配模板分别对应的的大小，选取最小所对应的模版设为最优匹配模板P_pm；4)采用去均值归一化相关法进行模板匹配，对图像进行纵坐标校正；取最优匹配模板P_pm的中心坐标(x_pm，y_pm)，然后，将P_pm与图像ImageR_i+1中的图像窗口G_q进行匹配，其中，ImageR_i+1中的图像窗口G_q的中心坐标为(x_pm，y_pm+q)，q为纵向偏移向量，取值范围是(‑10,10)的整数，且G_q长和宽分别与最优匹配模板P_pm长和宽相等；通过采用去均值归一化相关法计算模板匹配度系数ρ(G_q)进行模板与图像窗口的匹配：$\rho \left(G_q\right)=\frac{\underset{a=1}{\overset{S}{\Sigma }}\underset{b=1}{\overset{S}{\Sigma }}[G_q(a,b)-\overline{G_q}]·[P_{\mathrm{pm}}(a,b)-\overline{P_{\mathrm{pm}}}]}{{\left\{\underset{a=1}{\overset{S}{\Sigma }}\underset{b=1}{\overset{S}{\Sigma }}{[G_q(a,b)-\overline{G_q}]}^2\right\}}^{1/2}{\left\{\underset{a=1}{\overset{S}{\Sigma }}\underset{b=1}{\overset{S}{\Sigma }}{[P_{\mathrm{pm}}(a,b)-\overline{P_{\mathrm{pm}}}]}^2\right\}}^{1/2}}$其中，G_q(a,b)为在图像窗口G_q中坐标(a，b)处的灰度值，P_pm(a,b)为在最优匹配模板中坐标(a，b)处的灰度值，分别为G_q和P_pm的灰度均值，最优匹配模板和图像窗口中均包含S个像素点，均以左下角为起点坐标；(1)比较模板匹配度系数ρ(G_q)，选取最大值ρ_max(G_q)作为最优匹配度，ρ_max(G_q)中的q值作为ImageR_i+1相对于ImageR_i的纵向偏移为依次计算出图像序列中所有图像与前一帧图像的纵向偏移，记为Mⁱ；(2)对图像ImageR_i+1进行纵向平移变换得到图像ImageR′_i+1，平移矩阵为R_y(i+1)，完成机械抖动引起的纵向偏移纠正，平移矩阵R_y(i+1)为：$R_{y(i+1)}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& \underset{n=1}{\overset{i}{\Sigma }}{M}^i\\ 0& 0& 0\end{array}\right]$其中，i为小于N的整数；步骤7：对完成纵向偏移纠正后的序列图像进行绝对差分处理，完成医药异物的检测。