一种基于边缘计算终端的唇语识别方法及装置

    公开(公告)号:CN114360062A

    公开(公告)日:2022-04-15

    申请号:CN202210004835.9

    申请日:2022-01-05

    Abstract: 本发明涉及一种基于边缘计算终端的唇语识别方法及装置,包括以下步骤:S1、构建唇语识别模型,通过中文唇语数据集进行模型预训练,提取出预训练模型;S2、对预训练模型进行模型压缩;S3、连续采集边缘计算终端的视频数据,作为目标数据集进行保存;S4、对目标数据集进行预处理;S5、根据目标数据集,对预训练模型进行微调训练,获得轻量化模型;S6、优化轻量化模型,适配边缘计算终端的硬件平台并部署到边缘计算终端,采集用户的视频数据,识别用户的唇语信息,输出用户指令的识别结果。与现有技术相比,本发明具有提高语音识别的识别效果和准确性,提高唇语识别模型的鲁棒性,有利于部署在计算能力有限的边缘计算终端上等优点。

Patent Agency Ranking