发明名称 基于多分辨网格特征配准的清分机纸币面值面向分类方法
摘要 一种基于多分辨网格特征配准的清分机纸币面值面向分类方法,在进行图像识别和测量之前,首先需要对采样图像上不同点的亮度进行均衡;然后对纸币图像进行Haar小波变换,提取纸币图像近似图像分量;接着进行了网格特征的提取;接着分析网格特征对于不同纸币图像的可分性;再用网格特征建立一个综合分类器,在分类器构造中,应用了基于结构风险最小化的混合高斯模型。本方法可以满足纸币清分机的实时处理要求,能够达到每分钟处理1000张纸币的要求。同时采用局部特征配准可以有效地克服因磨损和印刷过程中造成的同一币种和面向纸币图像的不一致性,以便更好的进行识别。
申请公布号 CN102034108A 申请公布日期 2011.04.27
申请号 CN201010573576.9 申请日期 2010.12.06
申请人 哈尔滨工业大学 发明人 唐降龙;刘家锋;程丹松;金野;刘鹏;吴锐;刘松波;黄剑华;佟喜峰;黄庆成;赵巍
分类号 G06K9/62(2006.01)I;G06K9/36(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 代理人
主权项 1.基于多分辨网格特征配准的清分机纸币面值面向分类方法,其特征在于,方法如下:本方法针对人民币第四版和第五版,即新、旧两个版本,需要识别的币种共有12种:新、旧100元;新、旧50元、20元;新、旧10元;新、旧5元;新、旧1元和练功纸,面向共有4种:正面向上,正面向下,背面向上和背面向下,将币种和面向组合共有48种组合,此识别系统为一个48类和1个拒识类的分类系统;步骤1:清分机输入的图像是由高速扫描装置对图像传感器进行A/D转换后的原始图像,在本方法中所使用的图像传感器是LT2R216N-090223RGBIR多光谱接触式图像传感器,线阵上的每一点性能存在着一定的差异,造成了采样图像上各个点的光强性能不同,在进行图像识别和测量之前,首先需要对采样图像上不同点的亮度进行均衡,具体方法如下:(1)对几种不同灰度的标准测试纸进行采样,计算出图像上x方向每一点对不同灰度的标准测试纸的实测平均灰度;(2)在x方向各点用实测平均灰度和标准灰度进行线性拟和,求出每一点上灰度均衡曲线;(3)对原始图像上的每一点根据该点的x坐标和灰度值求出均衡后的灰度值;其中,图像在计算机中是用具有不同灰度级的像素矩阵来表示的,一个像素用一个字节即8位数据表示,这样可以编码为256个灰度等级,将纸币图像大小归一化为m×n,为了更好地提取纸币图像特征需要把原始图像重构为1×mn,即:<img file="FSA00000372998200011.GIF" wi="1653" he="214" />其中m,n为图像的宽度和长度,a<sub>i,j</sub>(i=1,2,…,m,j=1,2,…,n)是图像像素的灰度值;步骤2:钱币的原始形状是矩形的,在清分机中扫描时即使受到倾斜和侧向移动影响,钱币的形状也可以保持为平行四边形,即上下两边为相互平行的直线,左右两边为相互平行的直线,利用上述特点得出一种特殊的边缘检测算法,可以满足快速性要求和对残缺钱币边缘检测的要求,该特殊的边缘检测算法为:首先利用钱币图像边缘为直线的特点,不需要检测出边缘上的每一点,只需要检测出边缘上的若干离散点就可以拟和出边缘的直线,采用了在图像上等间隔位置检测边缘的方法,每一条边检测出一个边缘点序列,用边缘点序列作最小二乘直线拟和得到钱币图像的边缘;针对残缺钱币,利用图像的两个边互相平行的特点来处理,首先假设图像边缘残缺的部分不会很大,两条相对边的残缺部分长度总和不会超过两条边总长度的一半,一般情况下该假设可以得到满足,如得不到满足,此图像作为残缺过大钱币,按拒识处理;然后利用每一条边检测出的边缘点序列计算相邻两点之间直线的斜率,构成一个斜率的集合,合并相对两条边的斜率集合,寻找该集合中出现次数最多的元素,作为这两条边的期望斜率,在边缘点序列中删除斜率不等于期望斜率的点,用剩余点分别拟和出两条直线,作为边缘;高速扫描装置是在钱币运动过程当中扫描图像,因此一般情况下都会存在一定程度的几何变形,这种变形主要来自于两个方面,一方面是钱币的倾斜造成的,一方面是钱币在扫描过程中横向移动造成的,经过图像定位之后,利用图像的定位信息来对几何形变进行校正;由于倾斜所造成的形变采用图像旋转的方法来校正,以图像的左上角为原点进行旋转,令左上角的坐标为(x<sub>0</sub>,y<sub>0</sub>),原始图像为F(x,y),旋转后的图像为F<sub>R</sub>(x,y),F<sub>R</sub>(x,y)=F(x′,y′)                     (2)令β为上边缘与水平线之间的夹角,容易推得(x′,y′)与(x,y)之间的关系:x′=γcosα+x<sub>0</sub>,y′=γsinα+y<sub>0</sub>             (3)其中<maths num="0001"><![CDATA[<math><mrow><mi>&gamma;</mi><mo>=</mo><msqrt><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msub><mi>x</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><mi>y</mi><mo>-</mo><msub><mi>y</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup></msqrt><mo>,</mo><mi>&alpha;</mi><mo>=</mo><mi>arctan</mi><mfrac><mrow><mi>x</mi><mo>-</mo><msub><mi>x</mi><mn>0</mn></msub></mrow><mrow><mi>y</mi><mo>-</mo><msub><mi>y</mi><mn>0</mn></msub></mrow></mfrac><mo>+</mo><mi>&beta;</mi><mo>,</mo></mrow></math>]]></maths>经过旋转校正之后,钱币图像仍然是一个平行四边形,其中上下两条边平行于x轴,造成这种现象的原因是由于钱币在扫描过程中存在着横向的移动,校正这种形变,采用根据左右两边的倾斜角度侧移图像的方法解决,具体方法如下:令侧移之后的图像为F<sub>s</sub>(x,y)F<sub>s</sub>(x,y)=F<sub>R</sub>(x′,y′)                       (4)令左边缘与x轴之间的夹角为θ,以钱币图像左上角(x<sub>0</sub>,y<sub>0</sub>)为原点进行侧移,得到:<maths num="0002"><![CDATA[<math><mrow><msup><mi>x</mi><mo>&prime;</mo></msup><mo>=</mo><mi>x</mi><mo>-</mo><mfrac><mrow><mi>y</mi><mo>-</mo><msub><mi>y</mi><mn>0</mn></msub></mrow><mrow><mi>tan</mi><mi>&theta;</mi></mrow></mfrac><mo>,</mo></mrow></math>]]></maths>y′=y                          (5)由公式(2)-(5)得到进行旋转和平移变换计算比较复杂,在实际系统中使用很难达到对处理速度的要求,因此采用了一种相对比较简单的算法:(1)经过图像定位之后得到四条边缘的直线方程,其中上边缘的直线方程为:y=a<sub>u</sub>x+b<sub>u</sub>,左边缘的直线方程为:y=a<sub>L</sub>x+b<sub>L</sub>,同时求得左上角坐标(x<sub>0</sub>,y<sub>0</sub>),(2)校正后图像F<sub>T</sub>(x,y)=F(x′,y′),其中:x′=x-(a<sub>u</sub>x+b<sub>u</sub>-y<sub>0</sub>)                       (6)<maths num="0003"><![CDATA[<math><mrow><msup><mi>y</mi><mo>&prime;</mo></msup><mo>=</mo><mi>y</mi><mo>-</mo><mrow><mo>(</mo><mfrac><mrow><mi>y</mi><mo>-</mo><msub><mi>b</mi><mi>L</mi></msub></mrow><msub><mi>a</mi><mi>L</mi></msub></mfrac><mo>-</mo><msub><mi>x</mi><mn>0</mn></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow></math>]]></maths>步骤3:在网格特征的提取过程中,首先将纸币图像低频部分划分为若干个相同大小的矩形子区域,然后提取子区域的平均灰度作为原始特征,最后进行规一化得到最终特征,图像部分的长度和宽度也是区分人民币币种的一个有效特征,由于50元和20元,20元和10元间的纸币光靠网格特征无法保持很高的识别率,会出现误识或拒识;所以本方法在多分辨网格特征的基础上,在易发生误识或拒识的币种间采用局部特征配准技术来提高识别率,减少拒识率,本方法中所选用的特征看作是一个二元组S=((x<sub>L</sub>,x<sub>H</sub>),X),其中(x<sub>L</sub>,x<sub>H</sub>)为图像区域的长度和宽度,X为图像的网格特征,网格特征的基本提取方法如下:设图像I上坐标为z的像素亮度值为I<sub>z</sub>,将纸币划分为K×L个相互重叠的矩形区域Γ<sub>k,l</sub>,k=1,2,…,K,l=1,2,…,L,每个区域有相同的大小d<sub>x</sub>×d<sub>y</sub>,纸币图像的原始特征为x=[x<sub>1</sub>,x<sub>2</sub>,…,x<sub>K×L</sub>],其中x<sub>(l-1)·K+k</sub>为子区间Γ<sub>k,l</sub>的灰度均值:<maths num="0004"><![CDATA[<math><mrow><msub><mi>x</mi><mrow><mrow><mo>(</mo><mi>l</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>&CenterDot;</mo><mi>K</mi><mo>+</mo><mi>k</mi></mrow></msub><mo>=</mo><mfrac><mn>1</mn><mrow><msub><mi>d</mi><mi>x</mi></msub><mo>-</mo><msub><mi>d</mi><mi>y</mi></msub></mrow></mfrac><munder><mi>&Sigma;</mi><mrow><mi>z</mi><mo>&Element;</mo><msub><mi>&Gamma;</mi><mrow><mi>k</mi><mo>,</mo><mi>l</mi></mrow></msub></mrow></munder><msub><mi>I</mi><mi>z</mi></msub><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow></math>]]></maths>纸币图像配准的具体方案为:直接采用崭新、无折痕的纸币进行采样作为参考图像,对于参考图像,不需作特殊处理,进行倾斜校正后,认为是从参考图像到待检测图像的坐标变换仅存在位移及伸缩变换;倾斜校正后,设参考图像T上的象素T(x<sub>1</sub>,y<sub>1</sub>)与待检测图像上I的象素I(x<sub>2</sub>,y<sub>2</sub>)相对应,则(x<sub>1</sub>,y<sub>1</sub>)与(x<sub>2</sub>,y<sub>2</sub>)的关系可简化为:<maths num="0005"><![CDATA[<math><mrow><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>2</mn></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>s</mi><mi>x</mi></msub></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>s</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>1</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中(t<sub>x</sub> t<sub>y</sub>)<sup>T</sup>为从T到I的偏移向量,S<sub>x</sub>,S<sub>y</sub>分别为水平及垂直方向上的伸缩系数,在T上选取以(x,y)为中心的矩形区域Ω作为待检测区域,在I上选取以(x+Δx,y+Δy)为中心的矩形区域作为参考区域,计算两区域之间的相关系数:<maths num="0006"><![CDATA[<math><mrow><mi>&rho;</mi><mrow><mo>(</mo><mi>&Delta;x</mi><mo>,</mo><mi>&Delta;y</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&Element;</mo><mi>&Omega;</mi></mrow></munder><mi>T</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mi>&Delta;x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>&Delta;y</mi><mo>)</mo></mrow></mrow><msup><mrow><mo>[</mo><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&Element;</mo><mi>&Omega;</mi></mrow></munder><msup><mi>T</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&Element;</mo><mi>&Omega;</mi></mrow></munder><msup><mi>I</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mi>&Delta;x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>&Delta;y</mi><mo>)</mo></mrow><mo>]</mo></mrow><mrow><mn>1</mn><mo>/</mo><mn>2</mn></mrow></msup></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow></math>]]></maths>当Δx=X,Δy=Y时,ρ(Δx,Δy)获取最大值,S=[X,Y]为点(x,y)的校正向量,在实际运算中,将Δx,Δy限定在Δx∈[-2,2],Δy∈[-2,2]的范围,为计算出表达式(9)中的偏移向量及伸缩系数,参考图像T中选取N个边界信息稳定,结构特征明显的矩形区域作为关键区域;关键区域的几何中心为(x<sub>i</sub>,y<sub>i</sub>) i=1,2,…,N,计算得到(x<sub>i</sub>,y<sub>i</sub>)在I上的对应点(x<sub>i</sub>+X<sub>i</sub>,y<sub>i</sub>+Y<sub>i</sub>),则有:<maths num="0007"><![CDATA[<math><mrow><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>x</mi><mi>i</mi></msub><mo>+</mo><msub><mi>X</mi><mi>i</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>i</mi></msub><mo>+</mo><msub><mi>Y</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>s</mi><mi>x</mi></msub></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>s</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mfenced open='(' close=')'><mtable><mtr><mtd><msub><mi>x</mi><mi>i</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced></mrow></math>]]></maths>i=1,2,…N(11)采用最小二乘法,经由上式即可计算出偏移向量及伸缩系数,代入(9)中得到参考图像与待检测图像各象素间的对应关系;步骤4:令L<sub>i</sub>和H<sub>i</sub>为第i类的长宽变化范围,对第i类建立判别规则:(x<sub>L</sub>∈L<sub>i</sub>)∧(x<sub>H</sub>∈H<sub>i</sub>)→w<sub>i</sub>                           (12)只有当输入特征的长度和宽度在第i类的长宽变化范围之内时,第i类的规则输出为T,否则输出为F,币种分类器的输出为一个类别集合W,集合W中的元素为相应类别判别规则输出为T的类别,综合分类器以网格特征X和类别集合W为输入,输出为分类类别及其相应的匹配度,综合分类器采用的是相对比较简单的距离分类器,其中距离函数选择的是两个矢量内积函数,具体的分类器可以表示为:若<maths num="0008"><![CDATA[<math><mrow><msub><mi>g</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>max</mi><mrow><mi>j</mi><mo>&Element;</mo><mi>W</mi></mrow></munder><msub><mi>g</mi><mi>j</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>13</mn><mo>)</mo></mrow></mrow></math>]]></maths>则判别S属于第i类其中<img file="FSA00000372998200051.GIF" wi="346" he="58" />X<sub>i</sub>为第i类的模板矢量,利用预先采集的各个类别样本集合训练得到,为了使分类器的性能能够满足清分机的要求,在48个类别之外引入一个拒识类,币种分类器和综合分类器均会产生出拒识分类,首先在币种分类器中,48个类别相应的判别规则均输出为F则判别为拒识,下一步不再进行综合分类,直接按拒识处理,当币种分类器有输出时,综合分类器对网格特征进行分类,产生出相应的分类类别以及相应的相似度度量,利用训练样本集合可以为每个类别设定一个判别阈值,当相似度度量小于判别阈值时,判别为拒识类,若g<sub>i</sub>(x)<T<sub>i</sub>,则判别为拒识类。
地址 150001 黑龙江省哈尔滨市南岗区西大直街92号哈尔滨工业大学352信箱