-
公开(公告)号:CN112749629A
公开(公告)日:2021-05-04
申请号:CN202011452937.4
申请日:2020-12-11
Applicant: 东南大学
Abstract: 本发明公开了一种身份验证系统汉语唇语识别的工程优化方法,包括以下步骤:首先,在屏幕上显示便于唇语识别的口令,令被验证者朗读之,获取被验证者的唇动视频;然后,提取唇动视频中的音频的MFCC特征向量,根据向量中的信息区分出元音和辅音,根据汉语一字一音的特征,将视频分成一字一段,并对唇动视频中人脸区域进行检测和唇部区域进行定位与提取;最后,用RSNet分类网络对其进行分类,将分类的结果与口令及相比对,输出验证是否成功的信息。本发明大大提高了唇语识别的便利性与准确度。
-
公开(公告)号:CN117198331B
公开(公告)日:2024-03-15
申请号:CN202311473612.8
申请日:2023-11-08
Applicant: 东南大学
IPC: G10L25/51 , G10L25/30 , G10L25/18 , G10L25/24 , G06F18/213 , G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于对数比调整的水下目标智能识别方法及系统,所述方法包括:对水声信号数据集进行标注和数据增强,通过音频频谱转换技术将水声信号转化为对应的频谱表示;根据水声信号数据集中的标注类别统计计算类别权重,作为全局对数比调整值;利用线性投影层将频谱分片序列化并展平得到补丁嵌入,根据位置嵌入与补丁嵌入结合得到矩阵M,输入Transformer编码器;计算损失函数,并根据全局对数比调整值更新损失函数,重更新模型训练参数权重,训练并保存模型权重;利用训练好的模型对获取的水声信号进行水下目标识别。本方法能在实际环境中从大量数据中准确识别稀有目标。
-
公开(公告)号:CN117457022A
公开(公告)日:2024-01-26
申请号:CN202311200720.8
申请日:2023-09-18
Applicant: 东南大学
Abstract: 本发明公开了一种利用交叉注意力机制进行迁移学习的水声目标探测识别方法,属于水下目标识别领域。本发明的方法通过迁移学习方法有效降低了现有的水声目标识别算法对标注数据的依赖,通过有效复用已成功训练的大模型来加快对不同水下环境的建模速度。另外在迁移过程中,利用双向匹配机制配合K‑Means算法提高了源域与目标域的匹配成功率,并进一步通过交叉注意力机制来消除少数误配对对模型迁移的影响,显著提高了迁移效果,增强了模型的鲁棒性与适用环境。
-
公开(公告)号:CN117198331A
公开(公告)日:2023-12-08
申请号:CN202311473612.8
申请日:2023-11-08
Applicant: 东南大学
IPC: G10L25/51 , G10L25/30 , G10L25/18 , G10L25/24 , G06F18/213 , G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于对数比调整的水下目标智能识别方法及系统,所述方法包括:对水声信号数据集进行标注和数据增强,通过音频频谱转换技术将水声信号转化为对应的频谱表示;根据水声信号数据集中的标注类别统计计算类别权重,作为全局对数比调整值;利用线性投影层将频谱分片序列化并展平得到补丁嵌入,根据位置嵌入与补丁嵌入结合得到矩阵M,输入Transformer编码器;计算损失函数,并根据全局对数比调整值更新损失函数,重更新模型训练参数权重,训练并保存模型权重;利用训练好的模型对获取的水声信号进行水下目标识别。本方法能在实际环境中从大量数据中准确识别稀有目标。
-
公开(公告)号:CN112507311A
公开(公告)日:2021-03-16
申请号:CN202011438711.9
申请日:2020-12-10
Applicant: 东南大学
Abstract: 本发明公开了一种基于多模态特征融合的高安全性身份验证方法,包括以下步骤:(1)采集使用者读取验证码时的音视频资料;(2)对收集到的音视频资料进行人脸识别验证;(3)对收集到的音视频资料进行图像识别判断,用户的唇部动作与读实时数字的唇部动作是否相仿,如果相仿,则通过比照;(4)对收集到的音视频资料进行进行语音验证,验证说话人声纹是否与注册时说话人声纹相仿,并且根据声音再判断用户读的数字是不是屏幕上随机出现的验证码。本发明有效提高身份验证的可靠性。
-
-
-
-