-
公开(公告)号：CN112861791B
公开(公告)日：2022-08-23
申请号：CN202110263683.X
申请日：2021-03-11
Applicant: 河北工业大学
Abstract: 本发明公开了一种结合图神经网络和多特征融合的唇语识别方法。该方法首先提取并构建人脸变化序列，标注人脸特征点，再矫正唇部偏转角度，通过训练后唇部语义分割网络预处理后，通过单帧特征点关系的图结构和相邻帧特征点关系的图结构来训练唇语识别网络，最终通过训练后唇语识别网络生成唇语识别结果。本发明将识别网络数据集和唇部语义分割网络数据集经CNN提取和特征融合后的CNN唇部特征和唇部区域特征点经GNN提取和融合后的GNN唇部特征经特征融合后输入到BiGRU中识别，解决时间序列特征提取困难和唇部特征提取受外界因素影响的问题，有效提取唇部的静态特征和唇部变化的动态特征，具有唇部变化特征提取能力强、识别结果准确度高等特点。
-
公开(公告)号：CN112818950B
公开(公告)日：2022-08-23
申请号：CN202110262815.7
申请日：2021-03-11
Applicant: 河北工业大学
Abstract: 本发明公开了一种基于生成对抗网络和时间卷积网络的唇语识别方法。该方法首先通过ResNet角度分类器判断唇部偏转角度，之后利用的GAN二阶段转换器进行唇部矫正，最后送入TCN中进行特征识别分类生成唇语识别结果的高精度唇语识别方法；该方法克服了传统卷积模型无法解决的唇部特征提取受实际环境中光照强度、光照角度、识别角度、说话人身份等不确定性的影响，使唇语识别的准确性显著提高。本方法设计了密集多角度唇部变化原始数据，不仅实现了单个摄像机自身图像的连续，而且最大限度地实现了唇部图像在观测范围内的连续，有效解决现有多角度模型无法处理实际环境中连续变化的唇部图像的问题，从而提高唇语识别精度。
-
公开(公告)号：CN112861791A
公开(公告)日：2021-05-28
申请号：CN202110263683.X
申请日：2021-03-11
Applicant: 河北工业大学
Abstract: 本发明公开了一种结合图神经网络和多特征融合的唇语识别方法。该方法首先提取并构建人脸变化序列，标注人脸特征点，再矫正唇部偏转角度，通过训练后唇部语义分割网络预处理后，通过单帧特征点关系的图结构和相邻帧特征点关系的图结构来训练唇语识别网络，最终通过训练后唇语识别网络生成唇语识别结果。本发明将识别网络数据集和唇部语义分割网络数据集经CNN提取和特征融合后的CNN唇部特征和唇部区域特征点经GNN提取和融合后的GNN唇部特征经特征融合后输入到BiGRU中识别，解决时间序列特征提取困难和唇部特征提取受外界因素影响的问题，有效提取唇部的静态特征和唇部变化的动态特征，具有唇部变化特征提取能力强、识别结果准确度高等特点。
-
公开(公告)号：CN112818950A
公开(公告)日：2021-05-18
申请号：CN202110262815.7
申请日：2021-03-11
Applicant: 河北工业大学
Abstract: 本发明公开了一种基于生成对抗网络和时间卷积网络的唇语识别方法。该方法首先通过ResNet角度分类器判断唇部偏转角度，之后利用的GAN二阶段转换器进行唇部矫正，最后送入TCN中进行特征识别分类生成唇语识别结果的高精度唇语识别方法；该方法克服了传统卷积模型无法解决的唇部特征提取受实际环境中光照强度、光照角度、识别角度、说话人身份等不确定性的影响，使唇语识别的准确性显著提高。本方法设计了密集多角度唇部变化原始数据，不仅实现了单个摄像机自身图像的连续，而且最大限度地实现了唇部图像在观测范围内的连续，有效解决现有多角度模型无法处理实际环境中连续变化的唇部图像的问题，从而提高唇语识别精度。
-
-
-
Search Results
4
records
(took 0.016 seconds)
