基于智能移动设备平台的图像识别与创作应用系统及方法

摘要

本发明揭示了一种基于智能移动设备平台的图像识别与创作应用系统及方法，所述系统包括实境增强应用子系统；所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。本发明可以在智能移动设备上实现基于AR实境与3D内置影像结合。方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

主权项

一种基于智能移动设备平台的图像识别与创作应用系统，其特征在于，所述系统包括：实境增强应用子系统、用户交互展示系统；所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品，同时能对影像内容的删除、更新及修改；所述实境增强应用子系统主要包括：标识物识别模块、创作模块、图像处理模块、素材库模块、统一格式模块；所述标识物识别模块利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为： g ( x , y ) = 1 f ( x , y ) < T 0 f ( x , y ) ≥ T - - - ( 2.1 ) 其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景；所述创作模块用以通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；所述图像处理模块用以利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度，具体方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚 拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；所述统一格式模块将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放；所述用户交互展示子系统用以将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放；所述用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性；所述用户交互展示子系统包括：交互模块、用户接口模块；所述交互模块用以实时查找好友，并与好友一起分享作品，参与作品的评论与关注；将自己制作完成的实境增强图像分享，包括脚本的解码及多媒体内容的解析、展示；所述用户接口模块用以为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口；包括XML与JSON通用API接口。