基于智能家居设备的多维度观影系统控制方法

摘要

本发明提供一种基于智能家居设备的多维度观影系统控制方法，对任意给定的视频进行分析，包括图像信息、音频信息、字幕文字信息；对分析的结果进行整合，获得视频内容，以及视频内容随时间的变化；利用内容与感官间的映射关系，形成随视频变化的感官变化脚本，脚本内容包括温度感觉、湿度感觉、移动感、味觉、增强视觉、触觉；根据感觉随视频变化的脚本，通过智能家居设备产生与脚本同步的感受。本发明具有分析准确性高、利用智能家居设备因而成本低廉、实时性强等优点。

主权项

一种基于智能家居设备的多维度观影系统控制方法，其特征在于，包括下述步骤：S1.将影片视频以镜头为单位进行切分；S2.对镜头内的图像、声音、字幕进行提取和分析，获得镜头内容，内容表示为关键词与对应置信度；S3.对内容分析结果，即通过图像、声音、字幕获得的关键词‑置信度对，使用投票的方式进行统计，得出分析内容的最终结果；S4.将镜头分析得到的内容与建立的感受与物体的映射关系表进行匹配，获得当前镜头内给人的感受，从而形成感受随视频变化的脚本；S5.根据感觉随视频变化的脚本，通过智能家居设备产生与脚本同步的感受，并通过传感器反馈调节这一过程；步骤S3中采用投票方式对视频内容进行决策，图像、声音、字幕三种信息提供的内容均用关键词‑置信度的二元对表示，设关键词集合为KW，图像内容分析结果可以表示为：$R_{image}=\{c_{k_1},c_{k_2},...,c_{k_i},\mathrm{...},c_{k_n}\}$其中为图像内容中对第i个关键词的置信度，n为关键词的总数即n＝|KW|；同理可以得出声音的内容标注结果：$R_{sound}=\{c_{k_1}^{\prime },c_{k_2}^{\prime },...,c_{k_i}^{\prime },\mathrm{...},c_{k_n}^{\prime }\}$和字幕的内容标注结果：$R_{text}=\{c_{k_1}^{\prime \prime },c_{k_2}^{\prime \prime },...,c_{k_i}^{\prime \prime },\mathrm{...},c_{k_n}^{\prime \prime }\}$和分别表示声音内容中和字幕内容中对第i个关键词的置信度；对内容的投票结果为$R=\{c_{k_1}^{\prime \prime \prime },c_{k_2}^{\prime \prime \prime },...,c_{k_i}^{\prime \prime \prime },\mathrm{...},c_{k_n}^{\prime \prime \prime }\}$其中如果大于阈值λ_c＝0.5，则认为存在该词；步骤S4中的感受与物体映射关系表的内容为：物体→温度感受，湿度感受，运动感受，味觉，增强视觉，触觉；步骤S4中，对不同词汇进行分析得到的感受可能存在冲突，采用投票的方式对这些感受进行冲突消除，#(感受名称)表示某种感受名称在此次标注中出现的次数，S(感受名称)表示某种感受最后的投票结果，以百分比形式表示；选择投票结果最高的感受作为最终感受的结果。