发明名称 基于人眼扫视信号的人机交互式二维定位方法
摘要 本发明公开了一种基于人眼扫视信号的人机交互式二维定位方法,通过对多次重复实验所检测EOG数据进行特征提取与识别,揭示眼球运动角度和EOG统计信号特征之间的映射规律,构建基于EOG信号二维平面目标定位基本模型,同时在实际应用中考虑被试个体差异对基本定位模型进行参数修正,能够快速得到适用于每个被试的实际定位模型;模型构建中采用端点检测技术来实现测量信号的实时在线检测,为在线交互式系统的实现奠定了基础;通过一定的现场标定方法可以快速建立人眼与仿生机械臂之间的坐标转换关系;该系统实现了人眼、仿生机械臂的交互式二维精确位置控制。
申请公布号 CN102073377A 申请公布日期 2011.05.25
申请号 CN201010617004.6 申请日期 2010.12.31
申请人 西安交通大学 发明人 张进华;李小虎;洪军;李晓玲;王崴;贺巧玲;孙雷;李婷
分类号 G06F3/01(2006.01)I;G06K9/62(2006.01)I;G06T7/00(2006.01)I 主分类号 G06F3/01(2006.01)I
代理机构 西安通大专利代理有限责任公司 61200 代理人 陆万寿
主权项 1.基于人眼扫视信号的人机交互式二维定位方法,其特征在于,包括眼电信号预处理,人眼扫视定位模型建立以及人眼、仿生机械臂坐标系快速标定三个阶段:1)眼电信号预处理阶段是对眼电信号进行带通滤波和端点检测;包括以下步骤:所述眼电信号预处理阶段的带通滤波截止频率为0.1Hz-10Hz;对滤波后的眼电信号进行端点检测,检测扫视动作发生对应的眼电信号的起始点和终止点,端点检测步骤主要包括信号分帧和求取短时能量两部分,其中信号分帧是将连续的眼电信号转换为多段短时信号,进而对分帧后的短时信号求短时能量;2)人眼扫视基本定位模型建立是基于多次扫视实验的统计数据经线性拟合得到的,具体实验步骤如下:a、训练a1、将眼电导连分别放置在双眼外眦10mm处并采用相对参考来检测水平扫视信号,上下导连距瞳孔30mm对称分布采用相对参考来检测垂直扫视信号;a2、统计不同被试重复做已知角度扫视所对应峰值差,寻找角度与扫视信号峰值差之间的对应关系,建立基本定位模型;所述基本定位模型中,人眼扫视信号峰值差与对应扫视角度呈线性关系(h表示水平方向,v表示垂直方向);U<sub>h</sub>=k<sub>h</sub>θ<sub>h</sub>+b<sub>h</sub>    U<sub>v</sub>=k<sub>v</sub>θ<sub>v</sub>+b<sub>v</sub>b、模型匹配所述基本定位模型基于大量被试统计数据得出,单个被试具体实验时需根据至少三个已知角度扫视来对单次定位模型进行归一化,将定位模型统一到基本模型中:<maths num="0001"><![CDATA[<math><mrow><msub><mi>U</mi><mi>n</mi></msub><mo>=</mo><mfenced open='[' close=']'><mtable><mtr><mtd><msup><msub><mi>k</mi><mi>h</mi></msub><mo>&prime;</mo></msup></mtd><mtd><msup><msub><mi>b</mi><mi>h</mi></msub><mo>&prime;</mo></msup></mtd></mtr></mtable></mfenced><mfenced open='[' close=']'><mtable><mtr><mtd><mfrac><msub><mi>k</mi><mi>h</mi></msub><msup><msub><mi>k</mi><mi>h</mi></msub><mo>&prime;</mo></msup></mfrac></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mfrac><msub><mi>b</mi><mi>h</mi></msub><msup><msub><mi>b</mi><mi>h</mi></msub><mo>&prime;</mo></msup></mfrac></mtd></mtr></mtable></mfenced><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>&theta;</mi><mi>h</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>=</mo><msub><mi>k</mi><mi>h</mi></msub><msub><mi>&theta;</mi><mi>h</mi></msub><mo>+</mo><msub><mi>b</mi><mi>h</mi></msub></mrow></math>]]></maths><maths num="0002"><![CDATA[<math><mrow><msub><mi>U</mi><mi>v</mi></msub><mo>=</mo><mfenced open='[' close=']'><mtable><mtr><mtd><msup><msub><mi>k</mi><mi>v</mi></msub><mo>&prime;</mo></msup></mtd><mtd><msup><msub><mi>b</mi><mi>v</mi></msub><mo>&prime;</mo></msup></mtd></mtr></mtable></mfenced><mfenced open='[' close=']'><mtable><mtr><mtd><mfrac><msub><mi>k</mi><mi>v</mi></msub><msup><msub><mi>k</mi><mi>v</mi></msub><mo>&prime;</mo></msup></mfrac></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mfrac><msub><mi>b</mi><mi>v</mi></msub><msup><msub><mi>b</mi><mi>v</mi></msub><mo>&prime;</mo></msup></mfrac></mtd></mtr></mtable></mfenced><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>&theta;</mi><mi>v</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>=</mo><msub><mi>k</mi><mi>v</mi></msub><msub><mi>&theta;</mi><mi>v</mi></msub><mo>+</mo><msub><mi>b</mi><mi>v</mi></msub></mrow></math>]]></maths>3)人眼、仿生机械臂坐标系快速标定采用基于奇异值分解(SVD)的坐标转换算法;包括以下步骤:采用基于奇异值分解(SVD)的坐标转换算法,先将待标定点在两个坐标系下的坐标重心化以移除坐标平移向量T以简化参数模型:<maths num="0003"><![CDATA[<math><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>x</mi><mi>R</mi></msub><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msub><mi>x</mi><mi>i</mi></msub></mrow><mi>n</mi></mfrac><mo>,</mo><msub><mi>y</mi><mi>R</mi></msub><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msub><mi>y</mi><mi>i</mi></msub></mrow><mi>n</mi></mfrac><mo>,</mo><msub><mi>z</mi><mi>R</mi></msub><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msub><mi>z</mi><mi>i</mi></msub></mrow><mi>n</mi></mfrac></mtd></mtr><mtr><mtd><msubsup><mi>x</mi><mi>R</mi><mo>&prime;</mo></msubsup><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msubsup><mi>x</mi><mi>i</mi><mo>&prime;</mo></msubsup></mrow><mi>n</mi></mfrac><mo>,</mo><msubsup><mi>y</mi><mi>R</mi><mo>&prime;</mo></msubsup><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msubsup><mi>y</mi><mi>i</mi><mo>&prime;</mo></msubsup></mrow><mi>n</mi></mfrac><mo>,</mo><msubsup><mi>Z</mi><mi>R</mi><mo>&prime;</mo></msubsup><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msubsup><mi>z</mi><mi>i</mi><mo>&prime;</mo></msubsup></mrow><mi>n</mi></mfrac></mtd></mtr><mtr><mtd><msub><mover><mi>x</mi><mo>&OverBar;</mo></mover><mi>i</mi></msub><mo>=</mo><msub><mi>x</mi><mi>i</mi></msub><mo>-</mo><msub><mi>x</mi><mi>R</mi></msub><mo>,</mo><msub><mover><mi>y</mi><mo>&OverBar;</mo></mover><mi>i</mi></msub><mo>=</mo><msub><mi>y</mi><mi>i</mi></msub><mo>-</mo><msub><mi>y</mi><mi>R</mi></msub><mo>,</mo><msub><mover><mi>z</mi><mo>&OverBar;</mo></mover><mi>i</mi></msub><mo>=</mo><msub><mi>z</mi><mi>i</mi></msub><mo>-</mo><msub><mi>z</mi><mi>R</mi></msub></mtd></mtr><mtr><mtd><msubsup><mover><mi>x</mi><mo>&OverBar;</mo></mover><mi>i</mi><mo>&prime;</mo></msubsup><mo>=</mo><msubsup><mi>x</mi><mi>i</mi><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>R</mi><mo>&prime;</mo></msubsup><mo>,</mo><msubsup><mover><mi>y</mi><mo>&OverBar;</mo></mover><mi>i</mi><mo>&prime;</mo></msubsup><mo>=</mo><msubsup><mi>y</mi><mi>i</mi><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>y</mi><mi>R</mi><mo>&prime;</mo></msubsup><mo>,</mo><msubsup><mover><mi>z</mi><mo>&OverBar;</mo></mover><mi>i</mi><mo>&prime;</mo></msubsup><mo>=</mo><msubsup><mi>z</mi><mi>i</mi><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>z</mi><mi>R</mi><mo>&prime;</mo></msubsup></mtd></mtr></mtable></mfenced></math>]]></maths><maths num="0004"><![CDATA[<math><mrow><mover><mi>P</mi><mo>&OverBar;</mo></mover><mo>=</mo><mi>P</mi><mo>-</mo><msub><mi>P</mi><mi>R</mi></msub><mo>,</mo></mrow></math>]]></maths><img file="FDA0000042208370000025.GIF" wi="563" he="58" />构建最小化目标函数:<maths num="0005"><![CDATA[<math><mrow><mi>&Sigma;</mi><msup><mrow><mo>|</mo><mo>|</mo><mover><mi>P</mi><mo>&OverBar;</mo></mover><mo>-</mo><mi>R</mi><mover><mi>Q</mi><mo>&OverBar;</mo></mover><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><mo>=</mo><mi>&Sigma;</mi><mrow><mo>(</mo><msup><mover><mi>P</mi><mo>&OverBar;</mo></mover><mi>T</mi></msup><mover><mi>P</mi><mo>&OverBar;</mo></mover><mo>+</mo><msup><mover><mi>Q</mi><mo>&OverBar;</mo></mover><mi>T</mi></msup><mover><mi>Q</mi><mo>&OverBar;</mo></mover><mo>-</mo><mn>2</mn><msup><mover><mi>P</mi><mo>&OverBar;</mo></mover><mi>T</mi></msup><mi>R</mi><mover><mi>Q</mi><mo>&OverBar;</mo></mover><mo>)</mo></mrow><mo>=</mo><mi>min</mi></mrow></math>]]></maths>令<img file="FDA0000042208370000027.GIF" wi="260" he="64" />将J的进行奇异值分解:J=U∧V<sup>T</sup>,可得出最优旋转矩阵R=VU<sup>T</sup>,最后求解平移向量:<img file="FDA0000042208370000028.GIF" wi="285" he="57" />得到旋转矩阵R和平移向量T后,人眼、仿生机械臂坐标系关系唯一确定。
地址 710049 陕西省西安市咸宁西路28号