-
公开(公告)号:CN117877501A
公开(公告)日:2024-04-12
申请号:CN202311818377.3
申请日:2023-12-27
Applicant: 浙江大学杭州国际科创中心
IPC: G10L21/0208 , G10L25/30 , G10L17/18
Abstract: 本发明公开了一种基于神经网络的语音干扰噪声授权消除方法,包括以下步骤:步骤1、获取语音数据集;步骤2、收集多种不同形式的语音噪声数据;步骤3、在噪声数据中引入随机时间偏移;步骤4、在噪声数据中引入随机冲激响应特征;步骤5、在收集语音数据上添加噪声数据集中的噪声;步骤6、训练和使用噪声消除神经网络模型。本发明提供的方法能够实现授权定向清除不同形式的干扰噪音,以获得高质量的语音数据。
-
公开(公告)号:CN117874600A
公开(公告)日:2024-04-12
申请号:CN202311751190.6
申请日:2023-12-19
Applicant: 浙江大学杭州国际科创中心
IPC: G06F18/241 , G06F18/22 , G06F18/213 , G06N3/0464 , G06N3/096 , G06F21/32 , G06F123/02
Abstract: 本发明公开了一种基于心电特征对齐的脉搏波身份识别方法和装置,包括:同步采集用户的脉搏波信号和心电信号作为原始数据集,对原始数据集预处理得到时间对齐的脉搏波信号片段和心电信号片段组成一个对齐样本,结合对齐样本对应的用户身份标签构建训练数据集;利用训练数据集对特征提取器进行训练,在训练过程中使脉搏波特征与心电特征在区分不同人身份的同时进行特征分布对齐;计算每个用户对应所有脉搏波特征的均值作为特征模版来构建特征模版库;利用训练好的特征提取器提取待识别用户脉搏波信号的脉搏波特征,并通过比较脉搏波特征与特征模版库中特征模版的相似度来确定待识别用户的身份。该方法和装置进一步提升了脉搏波身份识别的准确率。
-
公开(公告)号:CN117633899A
公开(公告)日:2024-03-01
申请号:CN202311825793.6
申请日:2023-12-27
Applicant: 浙江大学杭州国际科创中心
Abstract: 本发明公开一种基于掩码的人脸图像生成模型隐私保护方法、系统及装置,方法包括:获取原始人脸数据集并进行预处理得到裁剪对齐图片;基于所述裁剪对齐图片,得到通用的人脸特征重要性热力图;进行归一化处理,得到归一化特征重要性数值;基于归一化特征重要性数值将原始人脸图像分割为图像块,得到人脸关键部分并基于人脸关键部分代替原始人脸数据集中相同部位,得到训练数据集;对训练数据集中每张图片加入随机噪声,进而得到训练损失结果;根据训练损失结果进行参数优化及更新,得到深度伪造人脸生成预训练模型;对深度伪造人脸生成预训练模型进行训练微调,得到深度伪造人脸生成模型。本发明能有效的保护人脸数据集隐私,减少人脸数据泄露。
-
公开(公告)号:CN113744731B
公开(公告)日:2023-07-21
申请号:CN202110913351.1
申请日:2021-08-10
Applicant: 浙江大学
Abstract: 本发明公开了一种多模态语音识别方法、系统及计算机可读存储介质,该方法包括:当目标毫米波信号和目标音频信号均包含目标用户对应的人声信息时,计算第一对数梅尔频谱系数和第二对数梅尔频谱系数,并将第一对数梅尔频谱系数和第二对数梅尔频谱系数输入到融合网络中,以确定目标融合特征;融合网络至少包括校准模块和映射模块;校准模块用于目标音频信号和目标毫米波信号进行相互特征校准;映射模块用于对校准后的毫米波特征和所述校准后的音频特征进行融合处理;将目标融合特征输入到语义特征网络中,以确定目标用户对应的语音识别结果。本发明能够达到高准确率语音识别的目的。
-
公开(公告)号:CN116230008A
公开(公告)日:2023-06-06
申请号:CN202310056368.9
申请日:2023-01-17
Applicant: 浙江大学杭州国际科创中心
IPC: G10L25/24 , G10L25/30 , G10L13/033 , G10L15/06
Abstract: 本发明提供了一种多对多映射的流式语音转换系统,包括流式语音采集模块,声学特征提取模块,音色特征提取模块,基于StarGANv2的声学特征映射模块,基于神经网络Vocoder的语音重建模块,以及流式输出模块。本发明还提供了一种多对多映射的流式语音转换方法。本发明的系统可以有效缩短语音转换的延迟时间,为用户提供持续不断的流式语音转换能力。
-
公开(公告)号:CN114598767B
公开(公告)日:2023-04-07
申请号:CN202210027042.9
申请日:2022-01-11
Applicant: 浙江大学
IPC: H04M1/72403 , H04M1/72433 , G10L15/16 , G01H1/00 , G06F40/289 , G06F40/35 , G06F18/10 , G06F18/2413 , G06F18/25 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种基于惯性测量单元的跨设备手机语音信息恢复方法及系统,该方法通过在智能手机中读取惯性测量单元在手机因扬声器播放语音而振动时的数据。利用惯性测量单元读出的数据和信号处理技术,实现能够跨设备的手机语音信息恢复方法。系统包括数据采集模块、数据处理模块和预训练人工神经网络模型。有别于之前的基于惯性测量单元恢复手机语音的方法,本发明所提出的方法能够实现在200Hz的低采样率限制下的语音信息恢复,同时消除了设备特征,实现了跨设备语音信息恢复功能。
-
公开(公告)号:CN115862670A
公开(公告)日:2023-03-28
申请号:CN202211399084.1
申请日:2022-11-09
Applicant: 浙江大学杭州国际科创中心
IPC: G10L25/18 , G10L25/51 , G10L21/0264
Abstract: 本发明公开了一种基于硬件特性的非线性注入攻击检测方法与装置,其中,检测方法包括以下步骤:(1)对采集的待测音频做语音活动检测,并将待测音频按语音部分进行切分,剔除无语音部分后得到多个语音片段;(2)对于每一个语音片段,同时进行欠采样音频检测与异常白噪声检测;若存在与常规语音部分相似的欠采样音频和/或存在与语音能量高度相关的近似白噪声,则判定该语音片段由非线性注入,并对用户发出警告。本发明中,检测方法可以直接部署于智能设备上,检测装置可以部署于智能设备附近,均可独立完成检测工作,可以为语音助手用户提供便捷、普适、无法规避的非线性注入攻击检测方案。
-
公开(公告)号:CN115841821A
公开(公告)日:2023-03-24
申请号:CN202211427811.0
申请日:2022-11-15
Applicant: 浙江大学杭州国际科创中心
Abstract: 本发明公开了一种基于人类语音结构的语音干扰噪声设计方法,包括如下步骤:(1)获取大量包含不同说话人、不同说话内容的语音数据,进行声纹信息提取后构建初始语音数据集;(2)对于每个用户,获取少量的用户语音数据,进行声纹信息提取后在初始语音数据集中匹配最为接近的语音数据;(3)对匹配得到的语音数据进行数据增广;(4)利用音素切割算法对增广后的语音数据进行切分,构成元音数据集和辅音数据集;(5)基于元音数据集和辅音数据集构建三段噪声序列,叠加后得到干扰噪声;(6)持续生成随机干扰噪声并播放,持续的干扰噪声注入录音中实现连续干扰。利用本发明,可以使干扰噪声无法从语音中去除,从而避免用户隐私信息的泄漏。
-
公开(公告)号:CN115001621A
公开(公告)日:2022-09-02
申请号:CN202210856583.2
申请日:2022-07-21
Applicant: 浙江大学
Abstract: 本发明公开了一种基于白盒语音对抗样本的隐私保护方法与装置,基于非目标白盒对抗样本的针对开源语音识别模型的干扰方法,在真实物理世界有效且符合实际应用场景约束,用以实现语音隐私保护;防御方建立语音数据库,针对开源语音识别模型,生成符合实际应用场景约束的非目标白盒对抗样本扰动;基于不同的初始状态,防御方可以生成大量不同块状扰动,从而形成扰动集合,防御方从扰动集合中随机选择扰动进行播放,使监听方无法获取块状扰动波形进而无法去除扰动;叠加了扰动的语音被麦克风录制后无法被模型正确识别,从而保护用户隐私不被泄露,能够生成对人干扰较小的块状扰动,抵御来自于大规模语音识别的隐私泄露。
-
公开(公告)号:CN112199685A
公开(公告)日:2021-01-08
申请号:CN202011023973.9
申请日:2020-09-25
Applicant: 浙江大学计算机创新技术研究院
IPC: G06F21/57
Abstract: 本发明公开了一种基于架构相似性的智能终端设备衍生漏洞挖掘方法。针对待检测设备和已知的一个智能终端设备作为两个智能终端设备,对两个智能终端设备进行智能终端设备架构相似性的判断,若两个智能终端设备之间具有架构相似性,则针对待检测设备进行基于架构相似性的衍生漏洞挖掘。本发明可有效提升智能终端设备漏洞挖掘效率,且具有普适性,还有利于机器自动执行完成。
-
-
-
-
-
-
-
-
-