一种智能移动终端的街景检索与识别方法

摘要

本发明涉及一种智能移动终端的街景检索与识别方法，其实现步骤为：(1)对不同位置区域分别建立街景图像数据库和热点信息数据库；(2)对数据库图像建立词汇树索引结构；(3)通过移动设备上传GPS位置信息，获取当前位置周围的热点区域；(4)上传街景图像，服务器端程序进行根据上传的GPS位置信息和图像信息进行检索，返回所需内容；(5)在移动设备上进行显示。本发明可以在地图上直观地显示热点区域，并获取丰富的标注信息，提高用户体验。

主权项

一种智能移动终端的街景检索与识别方法，其特征在于：包括如下步骤：步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：步骤2‑1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；步骤2‑2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k‑means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；步骤2‑3、利用词频‑逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示；步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：步骤5‑1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；步骤5‑2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；步骤5‑3、将现场特征文件中的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；步骤5‑4、将步骤5‑3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；步骤5‑5、智能移动终端显示步骤5‑4返回的内容。