一种应用于立体定向手术机器人的增强现实装置及其方法

摘要

本发明公开了一种应用于立体定向手术机器人的增强现实装置及其方法。本发明由相机和投影仪组成投影仪相机系统，不仅可以获取成像目标的表面点，还可以获取成像目标的颜色和纹理信息，通过配准之后，可以将成像目标表面的颜色和纹理信息叠加到由核磁成像提取得到的表面影像数据上，能够在计算机看到更加真实的、带有颜色和纹理的三维模型；将相机和投影仪通过连接件挂载在机械臂末端，有利于得到成像目标更加完整的三维表面，进而提高配准精度；在高精度配准的基础上，得到影像坐标系和机械臂基坐标系的一一对应关系，为后续计算在影像坐标系中指定的待增强现实位置后机械臂末端应该到达的位置提供依据，并实现在成像目标表面上的增强现实展示。

主权项

一种增强现实装置，其特征在于，所述增强现实装置包括：计算机、机械臂、相机、投影仪和连接件；其中，连接件的一个表面固定安装在机械臂末端，相机和投影仪安装在连接件的另一个表面，相机和投影仪之间的位置保持固定不变；机械臂的控制器通过网线连接至计算机与计算机进行通信；相机和投影仪分别通过数据线连接至计算机与计算机进行数据传输；成像目标相对于机械臂基坐标系位置固定不变，通过由相机和投影仪组成的投影仪相机系统，在相机坐标系下对成像目标进行三维表面点云数据采集，通过标定好的相机坐标系和机械臂末端坐标系的变换关系，将采集得到的成像目标的三维表面点云数据从相机坐标系转换到机械臂末端坐标系下，再由计算机读取机械臂的控制器得到机械臂末端坐标系到机械臂基坐标系的变换关系，从而将三维表面点云数据从机械臂末端坐标系转换到机械臂基坐标系下；在计算机中存储有通过核磁成像得到的在影像坐标系下的成像目标的影像数据，并通过算法将影像数据中成像目标的表面影像数据与内部影像数据分开；将由核磁成像得到的成像目标的表面影像数据与在机械臂基坐标系下成像目标的三维表面点云数据配准对齐，从而实现影像坐标系与机械臂基坐标系的坐标变换；在计算机中选择对成像目标的感兴趣区域，通过影像坐标系与机械臂基坐标系的变换关系，计算机械臂末端位姿，通过计算机控制机械臂到达指定位姿，投影仪把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现准确的增强现实。