结合声门激励和声道调制信息的汉语语音情感提取及建模方法

摘要

本发明一种结合声门激励和声道调制信息的汉语语音情感提取及建模方法，该汉语声门激励信息的提取方法为：制定电声门图情感语音数据库规范；收集电声门图情感语音数据；电声门图情感语音主观评测，即由至少十名评测者对电声门图情感语音进行评测。结合声门激励和声道调制信息的汉语情感建模方法为：首先根据电声门图提取声门激励信息；其次根据电声门图和语音信号的关系提取语音信号中的声道调制信息；最后，利用所有备选特征的Fisher比率为每种情感选择合适的情感特征，并训练一对多支持向量机模型。本发明通过电声门图信号提取声门激励信息，将语音信号中的声门激励信息和声道调制信息分离，更准确的反映语音中的情感信息。

主权项

汉语声门激励信息的提取方法，其步骤如下：步骤1：制定电声门图情感语音数据库规范；步骤1.1：选择20名发音人员，年龄20至30周岁，职业为学生，其中包括10名女性，10名男性；步骤1.2：选择20句没有明显情感倾向的汉语普通话语句作为录音脚本，平均每句脚本包含6.95个汉字，最少3个字(快点干)，最多12个字(我在论文上看到你的名字了)；步骤1.3：文件名包含文件编号、情感类别、录音人性别、获取方式、语言类别、录音人编号、语音语句编号、录音语句次数标识等信息；步骤2：收集电声门图情感语音数据；步骤2.1：录音地点为一间空旷的实验室，录音时将门窗紧闭，录制时间选择在晚上，录音设备采用DELL OPTIPLEX 330电脑，TIGEX‑EGG3电声门图仪，BE‑8800驻极体电容式麦克风，录音软件采用的是GoldWave，录制双声道数据，左声道为麦克风采集的语音数据，右声道为电声门图仪采集的声门激励数据，录音时只有操作者和说话者在场，保持室内安静；步骤2.2：记录说话者的个人信息及录音场地的温度、湿度等环境参数，并请说话者以最高音量发音，调整声卡增益以及麦克风与说话者嘴部距离，保证语音波形和电声门图波形不会出现削顶；步骤2.3：请说话者以指定的情感朗读所有录音脚本，重复3遍；步骤2.4：请说话者对录制语音进行个人评价，如符合本人的表达意愿，则将结果保存为采样率11025Hz，16Bit双声道PCM编码格式的WAV文件，否则重复步骤2.3；步骤2.5：采用GoldWave软件对步骤2.4得到的语音文件进行拆分，得到60条电声门图情感语音数据；步骤2.6：请说话者以悲伤、愤怒、惊奇、恐惧、喜悦、厌恶以及平静的情感重复步骤2.3至步骤2.5，得到420条电声门图情感语音数据；步骤2.7：更换说话者重复步骤2.3至步骤2.6，得到20名说话者，包括10男10女，共8400条电声门图情感语音数据；步骤3：设计基于.NET平台的网络情感点评测系统，邀请10位以上评测者对按照随机顺序播放的电声门图情感语音进行评测，据评测结果，从全部语音集中选择4套语音子集，其中每套语音子集中的语音被至少有p％的人正确识别(p＝70，80，90和100)；