一种语音识别效果自动化测试系统及测试方法

摘要

一种语音识别效果自动化测试系统及测试方法，包括：自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块；操作者仅需事先准备测试素材，执行全过程自动，极大减少了人的参与，节约了人力成本，可以反复测试验证，并且满足几天几夜的大规模测试，测试结果自动进行统计，避免人工误差，极大提升测试效率和准确度，该系统可应用到任一台式机或笔记本等设备上，对其识别效果评估上，快速得到结果数据，承担人力无法完成的任务，给各厂商提供了极大便利。

主权项

一种语音识别效果自动化测试系统，其特征在于包括：自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块，其中：自动配置模块，对音频播放和录音声卡设备、声道、音量大小进行设置，最终生成设备和播放方式配置文件；所述配置文件提供一组默认设置，如果用户忘记设置，则启用默认设置，默认设置为系统默认声卡的左声道播放待识别的录音音频，右声道播放用于模拟真实噪音环境的噪音录音音频，该噪音音频一般都是根据实际使用场景采集取得，另外一个声卡用于播放音乐音频；如果不适用默认设置，用户自行选择进行设置；该模块还对音频音量大小进行校准，用于模拟各种不同信噪比下的识别效果；完成所有设置后，将最终用户设置写入设备和播放方式配置文件，即config.txt文件送至语音自动播放和自动记录模块；语音的自动播放和自动记录模块：调用自动配置模块中的设备和播放方式配置文件，即config.txt文件，模拟播放音频，同时自动录制音频，完成对音频的放音和收音操作，并且能根据指定格式生成测试音频列表；收音即录音，会将识别、噪音和音乐播放的声音同时混合录到指定文件中，录制后的音频名与识别音频文件名相同，会保存在不同的文件夹中；音频存放路径统一为Sound，包含4个子文件夹Utterance、Music、Noise、Record，其中Utterance‑听写识别会话音频，Music‑音乐文件，Noise‑噪音文件，Record‑录音收集文件，Record中的音频是最终用于识别的文件，Record目录包含4个子文件夹All、Babble、Music、Clean，分别存放混合背景噪音和音乐的识别文件、仅混合噪音的识别文件、仅混合音乐的识别文件、纯净的识别文件，具体要测试哪些场景下的效果，可以由用户自行配置和使用；以上生成的音频和测试执行脚本，会送至语音识别及结果统计模块，供其自动测试使用；语音识别及结果统计模块：该模块是对前两个模块成果进行最终验证，生成识别测试脚本，执行批量识别，统计识别结果，它只与语音的自动播放和自动记录模块发生直接关系，根据Record目录中要测试的音频类别，生成多组测试脚本，按顺序批量识别自动播放和自动记录模块采集的音频，生成识结果文件；自动依据动态规划的方法来对其原始标注与识别结果，统计替换错误、插入错误和删除错误数目，最终统计出识别字错误率和命令词正确率效果指标；结果数据均以csv文件顺序保存，该文件被用户直接查阅，非常便捷查看出多次测试的结果。