-
公开(公告)号:CN113593601A
公开(公告)日:2021-11-02
申请号:CN202110846973.7
申请日:2021-07-27
Applicant: 哈尔滨理工大学
Abstract: 本发明公开了一种基于深度学习的视听多模态语音分离方法,所述方法包括:对视频流的每个说话人的面部进行识别,获得说话人的面部嵌入,处理说话人的每帧面部嵌入以生成说话者的面部视觉特征;获得视频的音频频谱图,对所得到的的音频谱图进行处理以生成音频的音频嵌入特征;将一个或者多个说话人的视觉特征和音频特征进行多模态融合,生成视听融合特征;构建多模态网络模型;将视听融合特征输入多模态网络模型进行训练,得到一个或多个说话人的每一个确定相应的频谱图掩模;根据频率掩模确定每个说话人相应的语音频谱图,最终分离出语音信号。本发明提供的方法能够有效提高语音分离性能,使分离后的语音更加清晰、可懂且音质更好。
-
公开(公告)号:CN111899754A
公开(公告)日:2020-11-06
申请号:CN202010743053.8
申请日:2020-07-29
Applicant: 哈尔滨理工大学
IPC: G10L21/0272 , G10L21/0208 , G10L21/0232
Abstract: 本发明公开了GA_FastICA算法的语音分离效果算法,包括如下步骤:在传统谱减法中假定噪声信号为d(n),纯净的语音信号为f(n),获取带噪混合信号h(n);带噪混合信号经过短时傅里叶变换后获得频谱;利用GA算法计算得到的增益来计算纯净语音功率谱和混合语音功率谱之间的关系,得到纯净语音信号的功率谱,弥补了传统谱减法在0dB左右交叉项为零的假设不成立弊端,通过短时傅里叶逆变换可还原成原始语音信号,FastICA算法进行语音分离,获得分离后语音信号。本发明在不同信噪比条件下,绘制了分离后语音信号时域波形,分析了分离后信号和原始信号之间的相关系数,并比较了GA_FastICA和FastICA、IBM、FOBI算法的分离效果,GA_FastICA算法可有效分离语音信号,在噪声环境下具有较好的语音分离效果。
-
公开(公告)号:CN111724794A
公开(公告)日:2020-09-29
申请号:CN202010552954.9
申请日:2020-06-17
Applicant: 哈尔滨理工大学
Abstract: 一种说话人识别方法,解决了现有说话人模型识别准确率和稳定性不高的问题,属于声纹识别技术领域。本发明包括:提取说话人语音特征,作为训练集;建立说话人身份识别的网络模型,该网络模型是在融合模型的基础上结合基于附加间隔Softmax损失函数建立的,利用步骤一的训练集对所述网络模型进行训练,利用训练好的网络模型确定待识别的说话人语音特征的类别,所述基于附加间隔Softmax损失函数增加了类别中的决策间隔,使同一类别之间特征向量和权重向量的间隔距离更小,同时增大不同类别特征向量的间隔距离。提高了识别精确度,具有较好的鲁棒性。
-
公开(公告)号:CN109712628B
公开(公告)日:2020-06-19
申请号:CN201910196487.8
申请日:2019-03-15
Applicant: 哈尔滨理工大学
IPC: G10L17/04 , G10L17/18 , G10L21/0208 , G10L21/0232 , G10L25/24 , G10L25/30
Abstract: 一种基于RNN建立的DRNN降噪模型的语音降噪方法及语音识别方法,在噪声环境下提取性能更好的语音信号特征参数,属于语音识别领域。本发明包括:建立DRNN降噪模型:在RNN的基础上增加两层隐含层,所述两层隐含层上无连接层,RNN原有的隐含层位于增加的两层隐含层中间,三层隐含层位于输入层和输出层之间;将带噪声的语音训练信号X进行补零,使维度保持一致,并将补零后的信号分成N组,每组三个数据,将分组后的数据输入到DRNN降噪模型中进行训练,确定DRNN降噪模型的参数;利用确定参数的DRNN降噪模型对语音信号或特征参数进行降噪。语音识别方法是在现有基础上在识别和训练之前先对特征参数采用DRNN降噪模型进行降噪。
-
公开(公告)号:CN109859733A
公开(公告)日:2019-06-07
申请号:CN201910001578.1
申请日:2019-01-02
Applicant: 哈尔滨理工大学
IPC: G10K11/178
Abstract: 本发明针对发动机进气系统引起的车内噪声的问题,提供一种基于FXLMS算法的发动机噪声控制方法,属于噪声控制领域。本发明包括:S1、以FXLMS算法建立发动机进气噪声的主控制系统模型,利用发动机的转速构造主控制系统模型的参考信号x(k);S2、建立离线辨识结构,对主动控制系统模型中次级通道传递函数H2(z)进行辨识,并将辨识结果提供给主动控制系统模型;S3、利用辨识后的主动噪声控制系统模型对发动机噪声进行控制。并提出了改进的变步长算法,该算法为归一化算法步长添加参数γ并代替正弦变步长中的β来调整步长的幅值范围,不仅具有正弦变步长算法的收敛快、稳态误差小的优点,且具有归一化算法适应时变参考信号的特性,参数易于选取的优点。
-
公开(公告)号:CN109751173A
公开(公告)日:2019-05-14
申请号:CN201910041205.7
申请日:2019-01-16
Applicant: 哈尔滨理工大学
IPC: F03B11/00
Abstract: 本发明提供一种故障诊断的结果更精准的基于概率神经网络的水轮机运行故障诊断方法,属于水轮机压力脉动监测与诊断领域。本发明包括:将水轮机的主要相关工况参数与压力脉动信号进行特征融合形成融合特征向量,作为概率神经网络的输入,将水轮机的运行状态作为所述概率神经网络的输出,构建概率神经网络的故障诊断模型;S2、利用构建的故障诊断模型实时监测水轮机的运行状态,进行故障诊断。本发明将水轮机运行工况和压力脉动信号一同作为特征进行识别,通过对历史数据进行互信息计算,并根据计算的互信息,求得水轮机各种工况参数对压力脉动信号影响的重要程度,进而求得水轮机的主要相关工况参数。
-
公开(公告)号:CN104618091B
公开(公告)日:2017-08-15
申请号:CN201510084754.4
申请日:2015-02-16
Applicant: 哈尔滨理工大学
Abstract: 双混沌系统动态密钥与RSA联合的流媒体保密通信方法,它涉及通信加密技术领域。解决流媒体通信在网络传输过程中未对根密钥进行有效地保护,存在一定的安全隐患,保密性差的问题。将混沌系统参数、混沌序列生成过程中的迭代步长与预先迭代次数作为动态参数,每次通信前随机生成满足条件的值并组成根密钥,并使用RSA算法对根密钥进行保密同步。根密钥的不同使得每次加、解密所使用的混沌密钥序列也不尽相同。同时,混沌密钥序列由两种超混沌序列交织组合而成,使得混沌密钥序列更为复杂。本发明减少混沌密钥序列生成时间,提高加密速度。通过C语言编写的软件在局域网内进行测试,结果表明:该方法既满足流媒体通信的安全性也满足其对实时性的要求。
-
公开(公告)号:CN106768303A
公开(公告)日:2017-05-31
申请号:CN201710069114.5
申请日:2017-02-08
Applicant: 哈尔滨理工大学
IPC: G01H17/00
Abstract: 本发明涉及声波相互作用领域,具体涉及一种两列平面声波非线性相互作用实验测试系统及方法。本发明为解决两列声波相互作用后低频声波能量变化的实验测量问题,提出了湖上实验测量两列平面声波非线相互作用实验测试系统及方法。本发明的平面声波非线相互作用实验测试系统包括低频发射系统、高频发射系统、发射架、接收系统、示波器,本发明的平面声波非线相互作用实验测试方法包括如下步骤:1、安装装置;2、单独发射低频声波,记录数据;3、单独发射高频声波,记录数据;4、同时发射高低频声波,记录数据;5、根据实验数据得到能量变化。本发明解决了两列声波相互作用后低频声波能量变化的测量问题,适用于声波能量的控制领域。
-
公开(公告)号:CN104794368A
公开(公告)日:2015-07-22
申请号:CN201510249411.9
申请日:2015-05-15
Applicant: 哈尔滨理工大学
IPC: G06F19/00
Abstract: 基于FOA-MKSVM的滚动轴承故障分类方法,属于滚动轴承故障诊断技术领域。本发明的目的是提供一种初始化参数少、参数设置简单、全局搜索能力强和分类准确率高的滚动轴承故障分类方法。对滚动轴承各状态振动信号进行特征提取;构造多核核函数使得支持向量机多核化;将训练特征集作为多核支持向量机MKSVM的输入,运用果蝇优化算法FOA对MKSVM的惩罚系数C、每个核函数参数和核函数权值λm进行参数寻优;将测试特征集输入到多核支持向量机MKSVM模型中进行测试,得到滚动轴承正常状态、内环故障状态、外环故障状态、滚动体故障状态的分类准确率。本发明具有初始化参数少、参数设置简单、全局搜索能力强和分类准确率高的优点。
-
公开(公告)号:CN204463231U
公开(公告)日:2015-07-08
申请号:CN201520115124.4
申请日:2015-02-25
Applicant: 哈尔滨理工大学
IPC: G06T7/20
Abstract: 本实用新型公开了一种运动目标检测机构,它涉及运动目标检测技术领域,壳体的底部安装有底座,壳体的侧面安装有操作机构,壳体内部的顶端安装有旋转电机,旋转电机的转轴上安装有支撑板,支撑板底部的两端均安装有支撑滚轮,支撑板的上端通过安装架安装有电动滑轨机构,电动滑轨机构的滑块上安装有安装板,安装板上分别安装有红外扫描机构、摄像头,操作机构、红外扫描机构、摄像头均与处理器的输入端连接,处理器的输出端分别与旋转电机、电动滑轨机构连接,电源模块与处理器的电源端连接,处理器的存储端与存储器连接,处理器的读取端与时钟模块连接;本实用新型便于实现快速调节,延长使用寿命,操作简便,节省时间,使用方便。
-
-
-
-
-
-
-
-
-