基于跨层相似性知识蒸馏的语音增强方法

    公开(公告)号:CN114067819B

    公开(公告)日:2024-06-21

    申请号:CN202111385676.3

    申请日:2021-11-22

    Abstract: 本发明公开了基于跨层相似性知识蒸馏的语音增强方法,包括提取深度神经网络的输入特征,再构建基于深度复卷积循环语音增强网络结构的蒸馏基础模型,接着根据蒸馏基础模型构建基于跨层相似性蒸馏的师生学习框架,并预训练大规模参数的蒸馏基础模型作为教师模型,再利用预训练好的教师模型对学生模型进行蒸馏;本发明提出了跨级路径连接的策略,并融合了多层教师模型的有效信息来引导单层学生网络,且为了更好地适应语音增强任务,引入了帧级相似性蒸馏损失,并在教师和学生的表示空间中保留成对相似性以最终实现知识转移,还用大规模的教师模型引导轻量的学生模型,能够有效的提升低复杂度语音增强模型的效果,具有良好的应用前景。

    基于唇语识别的重度听障患者言语理解度的改进方法

    公开(公告)号:CN112330713B

    公开(公告)日:2023-12-19

    申请号:CN202011346536.0

    申请日:2020-11-26

    Abstract: 本发明公开了一种基于唇语识别的重度听障患者言语理解度的改进方法,包括:使用图像采集设备从现实环境中采集唇部运动图像序列,作为深度神经网络的输入特征;构建基于深度学习的视觉模态语音端点检测方法,在低信噪比条件下确认语音段位置;构建基于三维卷积‑残差网络‑双向GRU结构的深度学习模型作为基线模型;在基线模型的基础上构建基于时空信息特征的唇语识别模型;利用交叉熵损失训练网络模型,根据训练后的唇语识别模型识别出说话内容。本发明通过时空信息反馈来捕捉唇语图像的细粒度特征和时域关键帧,从而提高对复杂环境中唇语特征的适应性,提高唇语识别性能,改善了重度听障患者的语言理解能力,具有良好的应(56)对比文件Yue Xie;Cai-Rong Zou;Rui-Yu Liang;Hua-Wei Tao.Phoneme Recognition Based onDeep Belief Network《.2016 InternationalConference on Information System andArtificial Intelligence (ISAI)》.2016,全文.马宁;田国栋;周曦.一种基于long short-term memory的唇语识别方法.中国科学院大学学报.2018,(01),全文.荣传振;岳振军;贾永兴;王渊;杨宇.唇语识别关键技术研究进展.数据采集与处理.2012,(S2),全文.刘大运;房国志;骆天依;魏华杰;王倩.基于BiLSTM-Attention唇语识别的研究《.计算技术与自动化》.2020,全文.Bor-Shing Lin;Yu-Hsien Yao;Ching-FengLiu;Ching-Feng Lien;Bor-ShyhLin.Development of Novel Lip-ReadingRecognition Algorithm《.IEEE Access》.2017,全文.

    基于矩阵重构二维卷积网络的电力负载信息获取方法

    公开(公告)号:CN116341616A

    公开(公告)日:2023-06-27

    申请号:CN202211412348.2

    申请日:2022-11-11

    Abstract: 本发明公开了基于矩阵重构二维卷积网络的电力负载信息获取方法,首先采集电器的总用电功率并作为输入序列y,再在输入序列y中加入余弦位置编码并得到编码序列ye,接着对编码序列ye进行滑窗截取并得到序列重构矩阵M,随后对输入序列y进行单位延时并得到延时序列y1,再求得动态检测序列yd,然后对序列重构矩阵M进行奇异值分解并得到分解重构子矩阵Mi,再对动态检测序列yd进行滑窗截取并得到动态检测重构矩阵Md;本发明通过采用将序列延时重构为矩阵的方法,能够充分利用序列的时序特性,并能在压缩网络参数量和训练时间的前提下增加网络层数,提升了负荷监测的精度,适合被广泛推广和使用。

    基于序列延时重构CSP卷积神经网络的非侵入式负荷监测方法

    公开(公告)号:CN114745299B

    公开(公告)日:2023-06-13

    申请号:CN202210259630.5

    申请日:2022-03-16

    Abstract: 本发明公开了基于序列延时重构CSP卷积神经网络的非侵入式负荷监测方法,首先利用阵列信号处理的特性对数据集中的2xL长度时序序列通过序列延时重构为LxLx2维度的矩阵M,再针对矩阵M的特点利用CSP网络特性针对性的构建卷积神经网络,接着使用重构的矩阵M数据及CSP卷积神经网络进行训练并得到最优的网络参数,再在监测端布置网络并加载相应参数,再对输入数据进行分解,得到负荷电器的工作状态;本发明实现了在监测时考虑数据中的时序关系及状态变化,且在提升监测的精度的同时也保障了监测的效率,能够针对性的指导用户或企业合理和安全用电,并辅助电力供应部门完善电力调度工作,具有方法科学合理、适用性强和效果佳等优点。

    一种通道自适应的数字助听器宽动态范围压缩方法

    公开(公告)号:CN113993053B

    公开(公告)日:2022-06-24

    申请号:CN202111258499.2

    申请日:2021-10-27

    Abstract: 本发明公开一种通道自适应的数字助听器宽动态范围压缩方法,首先,通过模拟人耳听觉特性选择一种非对称滤波器组分解与综合算法,然后根据患者听力图并融合心理声学模型设计滤波器组通道数和参数,得到符合患者听损的个性化滤波器组;最后运用上述方法的数字助听器对输入的声音信号分通道进行宽动态范围压缩;压缩的具体步骤包括:对输入信号进行自适应通道滤波器组分解,得到自适应通道的信号;对分解后的每个通道信号进行响度补偿;对补偿后的各通道信号进行滤波器组综合,得到全带信号;将综合后的全带信号转换为声音信号输出。在满足性能要求的同时降低系统的计算复杂度,提高患者的言语可懂度。

    一种改进的录音设备识别算法

    公开(公告)号:CN110728991B

    公开(公告)日:2022-03-01

    申请号:CN201910841092.9

    申请日:2019-09-06

    Abstract: 本发明公开了一种改进的录音设备识别算法,构建模型一和模型二,模型一包括双向门循环神经网络层、单向门循环神经网络层和注意力层,模型二包括卷积层、跳跃连接层和全局平均池化层,对待检测的音频信号进行分帧和预处理,提取音频信号的多维帧级特征作为模型一的输入、梅尔频谱特征作为模型二的输入,并将模型一和模型二的输出特征进行拼接融合,分类并得出识别结果。本发明的识别算法保留了音频信号的时序特性,通过增加注意力机制、跳跃连接结构和隐藏单元拼接方法等方式,最终得到优质的录音设备相关的特征参数,提高了录音设备的识别效果和模型的鲁棒性。

    基于深度域自适应网络的助听器语音增强方法

    公开(公告)号:CN111968666B

    公开(公告)日:2022-02-01

    申请号:CN202010847510.8

    申请日:2020-08-20

    Abstract: 本发明公开了一种基于深度域自适应网络的助听器语音增强方法,包括:分别从带噪语音和干净语音中提取帧级对数功率谱特征;构建基于编码器‑解码器结构的深度学习模型作为基线语音增强模型;在基线语音增强模型的基础上,构建基于深度域自适应网络的迁移学习语音增强模型;迁移学习语音增强模型在特征编码器和重建解码器之间引入域适配层和相对鉴别器;利用域对抗性损失训练迁移学习语音增强模型;在增强阶段,根据训练后的深度域自适应迁移学习语音增强模型,输入目标域带噪语音的帧级LPS特征,重建增强语音波形。本发明通过域对抗性训练来激励特征编码器生成域不变性特征,从而提高语音增强模型对未见噪声的适应性。

    联合无监督域自适应策略和注意力机制的非侵入式负荷监测方法

    公开(公告)号:CN113902104A

    公开(公告)日:2022-01-07

    申请号:CN202111282747.7

    申请日:2021-11-01

    Abstract: 本发明公开了联合无监督域自适应策略和注意力机制的非侵入式负荷监测方法,包括利用低频功率采样电表采集时间信息和功率信息样本作为总体样本,并将总体样本分为源域样本和目标域样本;对源域样本和目标域样本中样本集中的数据进行预处理,并得到模型的输入数据;联合无监督域自适应策略和注意力机制构建负荷监测网络模型;计算负荷监测网络模型损失;使用预处理后的数据对负荷监测模型进行训练和测试,并评估负荷分解性能。本发明可以有效的减小非侵入式负荷源域和目标域间特征空间和标签空间的分布差异,实现无监督的非侵入式负荷监测,具有良好的应用前景。

    一种增益平稳调节的动态范围控制算法及系统

    公开(公告)号:CN111933173A

    公开(公告)日:2020-11-13

    申请号:CN202010767816.2

    申请日:2020-08-03

    Abstract: 本发明公开了一种增益平稳调节的动态范围控制算法及系统,涉及音频信号处理技术领域,根据实际动态范围控制程度的需要,给定增益曲线相关参数,参数包括过渡段的起始点、过渡段的带宽及压缩段的斜率,通过求出过渡段曲线方程的未知参数,进而得出整个增益曲线;根据输入语音信号的幅度大小及增益曲线确定实时增益,通过期望增益和实际增益的平稳调节,确保参与运算的增益平稳变化。本发明的方法通过数据缓存,进一步确保增益能够跟上当前点数据对增益的需要,使得结果准确,与经典DRC算法相较,本发明所用方法的突出优势在于能够较小失真地对原始音频信号进行缩放处理,不会对后续功能模块造成影响。

Patent Agency Ranking