发明名称 基于快速判别公共向量算法的人体行为识别方法
摘要 本发明公开一种基于快速判别公共向量的人体行为识别方法,其涉及模式识别领域,以快速判别公共向量算法提高分类速率,解决人体行为识别中的小样本问题为目的,步骤如下:对输入的视频序列进行分帧处理、灰度处理和去噪处理;采用时间差分法对分帧后的图像进行运动人体目标检测,提取目标前景;对目标区域大小进行归一化处理;采用k‑means聚类的方法得到行为序列的关键帧;采用快速判别公共向量对行为进行分类。本发明提供的人体行为识别方法在现有的技术基础上有效地提高了识别效率,解决了人体行为识别中的小样本问题。本发明可用于机器学和模式识别范畴内,除了人体行为识别以外,还可用于图像识别和目标识别等领域。
申请公布号 CN103955671B 申请公布日期 2017.02.15
申请号 CN201410164624.7 申请日期 2014.04.23
申请人 浙江工业大学 发明人 王万良;邱虹;黄凯;韩姗姗;郑建炜
分类号 G06K9/00(2006.01)I;G06K9/62(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 杭州天正专利事务所有限公司 33201 代理人 王兵;黄美娟
主权项 一种基于快速判别公共向量算法的人体行为识别方法,包括以下步骤:步骤一,对输入的视频序列进行预处理,预处理分为以下3个过程;1.1视频分帧处理,对视频数据的分帧处理,是指把格式为AVI的视频数据转化为连续的图像序列;首先对读取的视频数据进行分帧处理,视频转化之后再对得到的图像序列做进一步的处理,达到改善图像质量的目的;1.2灰度处理,灰度处理是指把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图,通过黑白的不同层级来表示图像;1.3去噪处理,系统采用闭运算对灰度图像进行形态学处理,闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积;步骤二,对分帧后的图像进行运动人体目标检测,提取目标前景;时间差分法能够适应环境的动态变化,对环境亮度变化不敏感,无需获得背景图像,运算量小,易于实现,因此本文采用时间差分法检测运动人体目标,具体实现如下:2.1读取视频中的图像序列A,每2帧取1帧,得到新的图像序列B;2.2对图像序列B进行灰度化处理,帧差法(后帧减前帧)得到差分序列C,差分公式为:C(i)=B(i+1)‑B(i),i=1,…,n‑1.C(i)表示第i个经过图像差分计算后得到的视频序列,B(i)表示图像序列B中的第i张图像,n代表B中的图像个数;2.3自动阈值分割(OTSU)法进行二值化,连通区域连接得到目标人体区域;2.4对二值化结果进行形态学处理,得到相对完整的人体轮廓图;步骤三,目标区域处理;在检测得到运动人体目标区域后,对目标区域大小进行归一化处理,使得目标图像大小统一为80×60像素;步骤四,提取关键帧;采用k‑means聚类的方法得到行为序列的关键帧;具体实现如下:4.1每个聚类都需要确定一个初始聚类中心,这样就有k个初始聚类中心;4.2将样本集合中的每个样本按照最小距离原则分配到最邻近聚类;4.3计算每个聚类中的样本均值作为新的聚类中心;4.4重复4.2和4.3,直到聚类中心位置不再发生变化;4.5结束,得到k个聚类;通过上述过程,完成k‑means聚类得到的k个聚类中心,或者是距离这k个聚类中心最近的k个行为姿态,就是我们需要提取得到的k个行为关键帧;步骤五,采用快速判别公共向量对行为进行分类;具体过程如下:5.1从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量,一个一维行向量就是一个行为样本;设定训练样本集由C个类组成,每一类包含m个样本数,<img file="FDA0001104133190000021.GIF" wi="46" he="62" />是一个n维列向量,表示第i个类中的第k个样本,总的训练样本数为N=mC;5.2选择每一类中的第一个样本作为减数向量,判别向量<img file="FDA0001104133190000022.GIF" wi="283" he="86" />k=1,...,m‑1;第i类的判别子空间B<sub>i</sub>可以定义为<img file="FDA0001104133190000023.GIF" wi="451" he="92" />所有类的子空间相加可以得到完整的判别子空间<maths num="0001"><math><![CDATA[<mrow><mi>B</mi><mo>=</mo><msub><mi>B</mi><mn>1</mn></msub><mo>+</mo><mo>...</mo><mo>+</mo><msub><mi>B</mi><mi>C</mi></msub><mo>=</mo><mi>s</mi><mi>p</mi><mi>a</mi><mi>n</mi><mo>{</mo><msubsup><mi>b</mi><mn>1</mn><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>b</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>b</mi><mn>1</mn><mn>2</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>b</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mi>C</mi></msubsup><mo>}</mo><mo>;</mo></mrow>]]></math><img file="FDA0001104133190000024.GIF" wi="949" he="99" /></maths>5.3通过Gram‑Schmidt正交处理对判别向量<img file="FDA0001104133190000025.GIF" wi="43" he="70" />正交化,得到:<maths num="0002"><math><![CDATA[<mrow><msub><mi>U</mi><mn>1</mn></msub><mo>=</mo><mo>{</mo><msubsup><mi>u</mi><mn>1</mn><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>u</mi><mn>2</mn><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>u</mi><mn>1</mn><mn>2</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mi>C</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math><img file="FDA0001104133190000026.GIF" wi="763" he="94" /></maths><maths num="0003"><math><![CDATA[<mrow><msub><mover><mi>U</mi><mo>&OverBar;</mo></mover><mn>1</mn></msub><mo>=</mo><mo>{</mo><msubsup><mi>v</mi><mi>m</mi><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><msubsup><mi>v</mi><mi>n</mi><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>v</mi><mi>m</mi><mn>2</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>v</mi><mi>n</mi><mi>C</mi></msubsup><mo>}</mo></mrow>]]></math><img file="FDA0001104133190000027.GIF" wi="565" he="100" /></maths>5.4令x<sub>test</sub>为待分类的测试样本,<img file="FDA0001104133190000028.GIF" wi="283" he="65" />为第j类的减数向量,对应于每一类,可以得到判别向量<img file="FDA0001104133190000029.GIF" wi="468" he="86" />把该判别向量插入到判别子空间B的正交向量集中,得到对应于某一分类的判别子空间<img file="FDA00011041331900000210.GIF" wi="78" he="71" /><maths num="0004"><math><![CDATA[<mrow><msubsup><mi>B</mi><mn>2</mn><mi>j</mi></msubsup><mo>=</mo><mi>s</mi><mi>p</mi><mi>a</mi><mi>n</mi><mo>{</mo><msubsup><mi>u</mi><mn>1</mn><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>u</mi><mn>1</mn><mn>2</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mi>C</mi></msubsup><mo>,</mo><msub><mi>x</mi><mrow><mi>t</mi><mi>e</mi><mi>s</mi><mi>t</mi></mrow></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mi>j</mi></msubsup><mo>}</mo><mo>,</mo><mi>j</mi><mo>=</mo><mn>1</mn><mo>,</mo><mo>...</mo><mo>,</mo><mi>C</mi><mo>;</mo></mrow>]]></math><img file="FDA00011041331900000211.GIF" wi="1302" he="103" /></maths>5.5对<img file="FDA00011041331900000212.GIF" wi="58" he="63" />进行Gram‑Schmidt正交化处理,可以得到正交向量集:<maths num="0005"><math><![CDATA[<mrow><msubsup><mi>U</mi><mn>2</mn><mi>j</mi></msubsup><mo>=</mo><mo>{</mo><msubsup><mi>u</mi><mn>1</mn><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>u</mi><mn>2</mn><mn>1</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>u</mi><mn>1</mn><mn>2</mn></msubsup><mo>,</mo><mo>...</mo><mo>,</mo><msubsup><mi>u</mi><mrow><mi>m</mi><mo>-</mo><mn>1</mn></mrow><mi>C</mi></msubsup><mo>,</mo><msubsup><mi>u</mi><mi>m</mi><mi>j</mi></msubsup><mo>}</mo><mo>,</mo><mi>j</mi><mo>=</mo><mn>1</mn><mo>,</mo><mo>...</mo><mo>,</mo><mi>C</mi><mo>;</mo></mrow>]]></math><img file="FDA00011041331900000213.GIF" wi="1126" he="107" /></maths>5.6选择<img file="FDA00011041331900000214.GIF" wi="629" he="79" />作为正交单位向量集,那么可以得到<img file="FDA00011041331900000215.GIF" wi="1134" he="95" />通过扩展W<sup>j</sup>可以得到新的非判别子空间<img file="FDA00011041331900000216.GIF" wi="382" he="93" />且满足<img file="FDA00011041331900000217.GIF" wi="380" he="99" />因为<img file="FDA00011041331900000218.GIF" wi="175" he="79" /><img file="FDA00011041331900000219.GIF" wi="54" he="65" />位于之前定义的非判别子空间B<sup>⊥</sup>中,所以所有的特征向量在向<img file="FDA0001104133190000031.GIF" wi="56" he="62" />上的标量投影是相等的:<maths num="0006"><math><![CDATA[<mrow><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mn>1</mn><mn>1</mn></msubsup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>u</mi><mi>m</mi><mi>j</mi></msubsup><mo>=</mo><mo>...</mo><mo>=</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>m</mi><mn>1</mn></msubsup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>u</mi><mi>m</mi><mi>j</mi></msubsup><mo>=</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mn>1</mn><mn>2</mn></msubsup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>u</mi><mi>m</mi><mi>j</mi></msubsup><mo>=</mo><mo>...</mo><mo>=</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>m</mi><mi>C</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>u</mi><mi>m</mi><mi>j</mi></msubsup><mo>.</mo></mrow>]]></math><img file="FDA0001104133190000032.GIF" wi="1077" he="101" /></maths>待测向量x<sub>test</sub>在<img file="FDA0001104133190000033.GIF" wi="53" he="68" />上的投影是<img file="FDA0001104133190000034.GIF" wi="257" he="95" /><img file="FDA0001104133190000035.GIF" wi="54" he="70" />位于<img file="FDA0001104133190000036.GIF" wi="51" he="63" />中,可见该标量投影系数在数值上不同于等式<img file="FDA0001104133190000037.GIF" wi="1043" he="95" />中的系数,由此,<img file="FDA0001104133190000038.GIF" wi="916" he="94" />5.7由5.5、5.6推理可得快速判别公共向量的分类标准如下:<maths num="0007"><math><![CDATA[<mrow><msup><mi>C</mi><mo>*</mo></msup><mo>=</mo><munder><mrow><mi>arg</mi><mi>min</mi></mrow><mi>k</mi></munder><mo>{</mo><mrow><mo>|</mo><mrow><msup><mrow><mo>(</mo><msub><mi>x</mi><mrow><mi>t</mi><mi>e</mi><mi>t</mi><mi>s</mi></mrow></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mi>k</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><mo>&CenterDot;</mo><msubsup><mi>u</mi><mi>m</mi><mi>k</mi></msubsup></mrow><mo>|</mo></mrow><mo>}</mo><mo>.</mo></mrow>]]></math><img file="FDA0001104133190000039.GIF" wi="678" he="151" /></maths>
地址 310014 浙江省杭州市下城区潮王路18号