基于力/触觉交互设备的图像纹理的力触觉再现系统

摘要

本发明公开了一种用于虚拟现实人机交互的基于力/触觉交互设备的图像纹理的力触觉再现系统，其特征是当力/触觉交互设备在虚拟环境下的虚拟代理滑过虚拟物体的纹理表面时，首先基于图像处理的方法得到接触点所对应的物体纹理的表面高度和反映接触点粗糙程度的动摩擦系数，然后分别建立反映接触点凹凸程度的连续法向接触力模型和反映接触点粗糙程度的切向摩擦力模型，最后通过力/触觉交互设备将纹理接触力实时反馈给操作者，实现人手指划过虚拟物体表面纹理的力触觉表达和再现。所反馈的连续变化法向力不仅使得在进行人机交互时更加真实，而且使得交互系统更加稳定，所反馈的与接触点粗糙程度的有关的摩擦力也进一步提高了纹理再现时的真实感。

主权项

1.基于力/触觉交互设备的图像纹理的力触觉再现系统，其特征在于：(1)根据导入的物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即横向有m个像素和纵向有n个像素，利用下面的公式得到每个像素点的亮度值：$l_{i,j}=\frac{R+G+B}{3},---\left(1\right)$其中i∈{0，1，...m-1}，j∈{0，1，...，n-1}为纹理图片中对应的像素点的坐标值，R、G和B分别为该像素点的红、绿、蓝三个颜色分量，得到的亮度图像L_m×n；(2)对亮度图像进行频谱分析和空间滤波，设计高斯滤波器对图像进行空间滤波，将图像分解为低频和高频两部分，低频部分用于反映物体的轮廓、走势和形状，高频部分用于反映物体表面的粗糙程度和凹凸程度，并采用高频图像信息作为反映物体表面纹理的微观轮廓信息，得到的高频图像信息为H_m×n，具体步骤如下：①对亮度图像L_m×n做离散傅里叶变换，得到频域值F(k，v)，$F(k,v)=\frac{1}{\mathrm{mn}}\underset{a=0}{\overset{m-1}{\Sigma }}\underset{b=0}{\overset{n-1}{\Sigma }}{l}_{a,b}\exp (-j2\pi (\frac{\mathrm{ka}}{m}+\frac{\mathrm{vb}}{n})),---\left(2\right)$其中k∈{0，1，...m-1}，v∈{0，1，...，n-1}为纹理图片中对应的像素点在频域内的坐标值，a∈{0，1，...m-1}，b∈{0，1，...，n-1}，exp(·)为标准的指数函数，②对亮度图像L_m×n在频域内进行高斯滤波，滤除高频信号，G(k，v)为高斯滤波方程，S(k，v)为图像经高斯滤波后每个像素点在频域范围内对应的的值        S(k，v)＝G(k，v)F(k，v)                (3)③对S(k，v)进行傅里叶反变换，得到反映物体的轮廓、走势和形状的低频信息w_a，b，$w_{a,b}=\underset{k=0}{\overset{m-1}{\Sigma }}\underset{v=0}{\overset{n-1}{\Sigma }}S(k,v)\exp \left(j2\pi (\frac{\mathrm{ka}}{m}+\frac{\mathrm{vb}}{n})\right)---\left(4\right)$④反映物体表面纹理的高频图像信息H_m×n为各像素点亮度值减去反映物体轮廓和走向的低频信息，即        h_i，j＝l_i，j-w_i，j                     (5)其中i∈{0，1，...m-1}，j∈{0，1，...，n-1}，(3)对所得到的反映物体表面纹理的高频图像信息H_m×n，进行规范化处理，得到各像素点所对应的物体纹理的表面高度Q_m×n，其计算公式如下：$\left\{\begin{array}{c}{q}_{i,j}=h_{i,j}-\bar{h}\\ \bar{h}=\frac{\underset{i=0}{\overset{m-1}{\Sigma }}\underset{j=0}{\overset{n-1}{\Sigma }}{h}_{i,j}}{m\times n}\end{array}\right.,---\left(6\right)$其中是二维数组矩阵H_m×n中所有元素的平均值，(4)采用区域均值法计算各像素顶点所对应的物体纹理的表面高度D_(m+1)×(n+1)：其中，各像素顶点用P_s，t表示，s∈{0，1，...m}，t∈{0，1，...，n}，顶点P_s，t所对应的物体纹理的表面高度为d_s，t，所述的区域均值法为：以各个像素顶点P_s，t的周围邻近像素区域所对应的物体纹理的表面高度的平均值来作为该顶点的所对应的物体纹理的表面高度d_s，t，所述位置检测模块(243)用于，将力/触觉交互设备(3)输出的坐标位置(Px，Py，Pz)转化为虚拟环境下的坐标(Mx，My，Mz)，具体坐标转化关系如下：Mx＝9*Py，My＝14*Pz，Mz＝Px*5-5，        (7)其中(Px，Py，Pz)坐标位置的获取是通过力/触觉交互设备实现，它能够获取力/触觉交互设备端部的操作柄在三维空间中的位置信息，所述碰撞检测模块(244)用于，判断当前力/触觉交互设备(3)在虚拟环境里的代理是否碰撞到虚拟物体的表面纹理，所述力/触觉计算模块(245)用于计算当前输出的纹理接触力，如果没有碰撞到虚拟物体的纹理，则输出力为0；如果发生碰撞，则纹理力计算具体步骤如下：(1)假设虚拟物体的纹理图片位于虚拟环境空间坐标系Oxyz中的区域Ω＝{0≤x≤X，0≤y≤Y，z＝0}，纹理图片在虚拟空间中的位置左右对齐，且上下对齐，沿同一方向的对角线将纹理图片各像素点区域分成两个三角形，(2)根据位置检测模块所输出的虚拟代理的位置信息，假设碰撞点在虚拟环境下的坐标为(x，y，z)，得到碰撞点在面Oxy上的投影点(x，y)所在的三角形，(3)基于纹理图片预处理模块(242)中所得到的每个像素顶点的所对应的物体纹理的表面高度值，得到投影点所对应的物体纹理的表面高度值为d_x，y，(4)在碰撞点纹理接触合力计算方法为：${\overrightarrow{F}}_c(x,y)={\overrightarrow{F}}_n(x,y)+{\overrightarrow{F}}_f(x,y),---\left(8\right)$其中：法向力的计算方法如下：        F_n(x，y)＝kd_x，y，                        (9)其中k为物体纹理表面的刚性系数，d_x，y为接触点对应的高度值，如果d_x，y为正，则表示接触点为凸起的，法向力垂直于面Oxy并指向z轴正方向；如果d_x，y为负，则表示接触点为凹下的，法向力垂直于面Oxy并指向z轴负方向，摩擦力的计算方法如下：    F_f(x，y)＝μ(x，y)|F_n(x，y)|sign(V)，                (10)μ(x，y)为接触点的动摩擦系数，V为虚拟代理在虚拟纹理表面的相对速度，sign(V)为标准的符号函数，即$\mathrm{sign}\left(V\right)=\left\{\begin{array}{c}1,V>0\\ 0,V=0\\ -1,V<0\end{array}\right.,---\left(11\right)$摩擦力的方向与面Oxy平行，并与运动方向相反，动摩擦系数设计为μ(x，y)＝ρ·r(x，y)，其中ρ是纹理表面材料的粗糙系数，r(x，y)是接触点的局部粗糙系数，与该接触点的局部凹凸程度有关，r(x，y)可用下面的模型表示：r(x，y)＝|d_s，t-d_x，y|+|d_s+1，t-d_x，y|+|d_s+1，t+1-d_x，y|+|d_s，t+1-d_x，y|，    (12)其中d_s，t、d_s+1，t、d_s+1，t+1、d_s，t+1为碰撞点在面Oxy上投影点所在的像素区域四个顶点所对应的物体纹理表面的高度值，如果投影点落在两个或四个像素区域的交界处，则将该投影点分别归属这两个或四个像素区域并按(12)式计算该点的局部粗糙系数，最后取均值即为该点的局部粗糙系数，所述力/触觉信息反馈模块(246)通过PCI板卡(23)及PCI板卡连接线将力/触觉计算模块(245)产生的需要输出的纹理接触力信息传输至力/触觉交互设备(3)，由力/触觉交互设备来设定力/触觉交互设备需要输出的作用力，所述图形刷新模块(247)用于受试者在显示器上实时观察到虚拟代理的移动位置，所述显示卡(21)、PCI板卡(23)、硬盘(24)均通过总线(22)实现双向传输，所述显示器(1)通过VGA连接线与显示卡(21)连接。