-
公开(公告)号：CN112330713B
公开(公告)日：2023-12-19
申请号：CN202011346536.0
申请日：2020-11-26
Applicant: 南京工程学院
IPC: G06T7/207 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于唇语识别的重度听障患者言语理解度的改进方法，包括：使用图像采集设备从现实环境中采集唇部运动图像序列，作为深度神经网络的输入特征；构建基于深度学习的视觉模态语音端点检测方法，在低信噪比条件下确认语音段位置；构建基于三维卷积‑残差网络‑双向GRU结构的深度学习模型作为基线模型；在基线模型的基础上构建基于时空信息特征的唇语识别模型；利用交叉熵损失训练网络模型，根据训练后的唇语识别模型识别出说话内容。本发明通过时空信息反馈来捕捉唇语图像的细粒度特征和时域关键帧，从而提高对复杂环境中唇语特征的适应性，提高唇语识别性能，改善了重度听障患者的语言理解能力，具有良好的应(56)对比文件Yue Xie;Cai-Rong Zou;Rui-Yu Liang;Hua-Wei Tao.Phoneme Recognition Based onDeep Belief Network《.2016 InternationalConference on Information System andArtificial Intelligence (ISAI)》.2016,全文.马宁;田国栋;周曦.一种基于long short-term memory的唇语识别方法.中国科学院大学学报.2018,(01),全文.荣传振;岳振军;贾永兴;王渊;杨宇.唇语识别关键技术研究进展.数据采集与处理.2012,(S2),全文.刘大运;房国志;骆天依;魏华杰;王倩.基于BiLSTM-Attention唇语识别的研究《.计算技术与自动化》.2020,全文.Bor-Shing Lin;Yu-Hsien Yao;Ching-FengLiu;Ching-Feng Lien;Bor-ShyhLin.Development of Novel Lip-ReadingRecognition Algorithm《.IEEE Access》.2017,全文.
-
公开(公告)号：CN113993053B
公开(公告)日：2022-06-24
申请号：CN202111258499.2
申请日：2021-10-27
Applicant: 南京工程学院
IPC: H04R25/00
Abstract: 本发明公开一种通道自适应的数字助听器宽动态范围压缩方法，首先，通过模拟人耳听觉特性选择一种非对称滤波器组分解与综合算法，然后根据患者听力图并融合心理声学模型设计滤波器组通道数和参数，得到符合患者听损的个性化滤波器组；最后运用上述方法的数字助听器对输入的声音信号分通道进行宽动态范围压缩；压缩的具体步骤包括：对输入信号进行自适应通道滤波器组分解，得到自适应通道的信号；对分解后的每个通道信号进行响度补偿；对补偿后的各通道信号进行滤波器组综合，得到全带信号；将综合后的全带信号转换为声音信号输出。在满足性能要求的同时降低系统的计算复杂度，提高患者的言语可懂度。
-
公开(公告)号：CN111968666B
公开(公告)日：2022-02-01
申请号：CN202010847510.8
申请日：2020-08-20
Applicant: 南京工程学院
IPC: G10L21/0216 , G10L21/0232 , G10L25/03 , G10L25/30 , G06N3/04 , G06N3/08 , H04R25/00
Abstract: 本发明公开了一种基于深度域自适应网络的助听器语音增强方法，包括：分别从带噪语音和干净语音中提取帧级对数功率谱特征；构建基于编码器‑解码器结构的深度学习模型作为基线语音增强模型；在基线语音增强模型的基础上，构建基于深度域自适应网络的迁移学习语音增强模型；迁移学习语音增强模型在特征编码器和重建解码器之间引入域适配层和相对鉴别器；利用域对抗性损失训练迁移学习语音增强模型；在增强阶段，根据训练后的深度域自适应迁移学习语音增强模型，输入目标域带噪语音的帧级LPS特征，重建增强语音波形。本发明通过域对抗性训练来激励特征编码器生成域不变性特征，从而提高语音增强模型对未见噪声的适应性。
-
Patent Agency Ranking
公开(公告)号：CN119564200A
公开(公告)日：2025-03-07
申请号：CN202411646554.9
申请日：2024-11-18
Applicant: 南京工程学院 , 中国听力语言康复研究中心
IPC: A61B5/12 , G16H50/30 , G06N3/0442 , G06F18/25 , G06F18/22
Abstract: 本发明公开了一种基于言语测听的听障患者听损评测方法及系统，首先利用言语测听的原始音频数据构建具有原始音频声纹特征的语音合成模型，再清洗原始音频文本数据和用户反馈文本数据，接着采用语音合成模型将原始音频文本数据和用户反馈文本数据转换为音频信号并获得第一音频信号和第二音频信号，再将第一音频信号和第二音频信号进行傅里叶变换并计算各频点能量从而获得多组测听音频数据；本发明实现了具有自动评测患者听力状态的功能，且不需要额外的纯音测听过程，同时基于言语测听结果自动评测患者听力状态的方法能融合患者的个性信息进行评测，不仅评测效率较高，还使得评测结果更为准确，适合被广泛推广和使用。
-
公开(公告)号：CN113411733B
公开(公告)日：2023-04-07
申请号：CN202110679746.X
申请日：2021-06-18
Applicant: 南京工程学院
IPC: H04R25/00
Abstract: 本发明公开了一种面向免验配助听器的参数自调节方法，包括以下步骤：步骤一：确定10组参数[a1,b1,a2,b2,r,s,t]1～10；步骤二：根据患者在中心频率CF处的听力损失，分别计算10组参数对应的内/外毛细胞听力损失，正常耳和患耳的最大增益和补偿系数；步骤三：将输入语音xin分帧加窗，并计算每帧信号的能量谱E(k)；步骤四：计算10组参数对应的补偿增益；步骤五：将步骤四计算得出的补偿增益作用在信号谱上，获得补偿后的10组语音信号；步骤六：计算10组语音信号的适应度，并重新生成10组参数。该面向免验配助听器的参数自调节方法根据耳蜗听损模型建立响度补偿模型，同时基于智能算法自适应调节参数，具有响度补偿效果好且调配方便的优点。
-
公开(公告)号：CN112330713A
公开(公告)日：2021-02-05
申请号：CN202011346536.0
申请日：2020-11-26
Applicant: 南京工程学院
Abstract: 本发明公开了一种基于唇语识别的重度听障患者言语理解度的改进方法，包括：使用图像采集设备从现实环境中采集唇部运动图像序列，作为深度神经网络的输入特征；构建基于深度学习的视觉模态语音端点检测方法，在低信噪比条件下确认语音段位置；构建基于三维卷积‑残差网络‑双向GRU结构的深度学习模型作为基线模型；在基线模型的基础上构建基于时空信息特征的唇语识别模型；利用交叉熵损失训练网络模型，根据训练后的唇语识别模型识别出说话内容。本发明通过时空信息反馈来捕捉唇语图像的细粒度特征和时域关键帧，从而提高对复杂环境中唇语特征的适应性，提高唇语识别性能，改善了重度听障患者的语言理解能力，具有良好的应用前景。
-
公开(公告)号：CN111968666A
公开(公告)日：2020-11-20
申请号：CN202010847510.8
申请日：2020-08-20
Applicant: 南京工程学院
IPC: G10L21/0216 , G10L21/0232 , G10L25/03 , G10L25/30 , G06N3/04 , G06N3/08 , H04R25/00
Abstract: 本发明公开了一种基于深度域自适应网络的助听器语音增强方法，包括：分别从带噪语音和干净语音中提取帧级对数功率谱特征；构建基于编码器-解码器结构的深度学习模型作为基线语音增强模型；在基线语音增强模型的基础上，构建基于深度域自适应网络的迁移学习语音增强模型；迁移学习语音增强模型在特征编码器和重建解码器之间引入域适配层和相对鉴别器；利用域对抗性损失训练迁移学习语音增强模型；在增强阶段，根据训练后的深度域自适应迁移学习语音增强模型，输入目标域带噪语音的帧级LPS特征，重建增强语音波形。本发明通过域对抗性训练来激励特征编码器生成域不变性特征，从而提高语音增强模型对未见噪声的适应性。
-
公开(公告)号：CN103152672A
公开(公告)日：2013-06-12
申请号：CN201310110995.2
申请日：2013-04-03
Applicant: 南京工程学院
IPC: H04R3/00
Abstract: 本发明提出了一种微麦克风阵列接收信号压缩编码及信号恢复方法。其具体方法是对每个时刻微麦克风阵列接收的信号进行压缩变换，并对压缩变换后的信号进行编码。压缩变换矩阵为对角元为1的下三角阵，其非对角元系数由自适应过程更新。自适应过程及其代价函数在更新过程中最小化压缩变换后的信号能量，对各麦克风阵元接收信号解相关，消除各阵元信号之间的冗余信息。每一时刻的压缩编码信号可以通过压缩变换矩阵的逆矩阵恢复出原始接收信号。由于压缩变换矩阵始终保持对角元为1的下三角阵，所以其逆矩阵始终存在，信号恢复过程稳定可靠。
-
-
-
-
-
-
-
Search Results
18
records
(took 0.017 seconds)
