-
公开(公告)号:CN114360062A
公开(公告)日:2022-04-15
申请号:CN202210004835.9
申请日:2022-01-05
Applicant: 上海交通大学
Abstract: 本发明涉及一种基于边缘计算终端的唇语识别方法及装置,包括以下步骤:S1、构建唇语识别模型,通过中文唇语数据集进行模型预训练,提取出预训练模型;S2、对预训练模型进行模型压缩;S3、连续采集边缘计算终端的视频数据,作为目标数据集进行保存;S4、对目标数据集进行预处理;S5、根据目标数据集,对预训练模型进行微调训练,获得轻量化模型;S6、优化轻量化模型,适配边缘计算终端的硬件平台并部署到边缘计算终端,采集用户的视频数据,识别用户的唇语信息,输出用户指令的识别结果。与现有技术相比,本发明具有提高语音识别的识别效果和准确性,提高唇语识别模型的鲁棒性,有利于部署在计算能力有限的边缘计算终端上等优点。