基于白盒语音对抗样本的隐私保护方法与装置

    公开(公告)号:CN115208507A

    公开(公告)日:2022-10-18

    申请号:CN202210996591.7

    申请日:2022-08-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于白盒语音对抗样本的隐私保护方法与装置,基于非目标白盒对抗样本的针对开源语音识别模型的干扰方法,在真实物理世界有效且符合实际应用场景约束,用以实现语音隐私保护;防御方建立语音数据库,针对开源语音识别模型,生成符合实际应用场景约束的非目标白盒对抗样本扰动;基于不同的初始状态,防御方可以生成大量不同块状扰动,从而形成扰动集合,防御方从扰动集合中随机选择扰动进行播放,使监听方无法获取块状扰动波形进而无法去除扰动;叠加了扰动的语音被麦克风录制后无法被模型正确识别,从而保护用户隐私不被泄露,能够生成对人干扰较小的块状扰动,抵御来自于大规模语音识别的隐私泄露。

    基于对抗样本的非侵入自适应说话人匿名系统及方法

    公开(公告)号:CN114822548A

    公开(公告)日:2022-07-29

    申请号:CN202210423544.3

    申请日:2022-04-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对抗样本的非侵入自适应说话人匿名系统及方法,系统包括多样目标说话人生成模块、任意对任意对抗扰动构造模块和不可感知对抗扰动优化模块,多样目标说话人生成模块根据所输入的目标标签按需生成目标说话人嵌入码,任意对任意对抗扰动构造模块根据所输入的目标说话人嵌入码构造对抗扰动,不可感知对抗扰动优化模块进一步优化所输入的对抗扰动得到人耳不可感知的对抗扰动。本发明可以实现任意对任意的说话人身份转换,将原始用户的声纹信息隐藏在一群目标说话人之中以自适应地躲避自动说话人辨认系统的身份检测,通过预训练的条件变分自编码器按需采样目标嵌入码极大释放了实际部署的计算和存储资源需求。

    基于内建传感器欠采样数据的通用语音信息恢复装置及方法

    公开(公告)号:CN113362840A

    公开(公告)日:2021-09-07

    申请号:CN202110615983.X

    申请日:2021-06-02

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于内建传感欠采样数据的通用语音信息恢复装置及方法,装置包括信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块,信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块依次连接,不仅能够恢复带宽极窄且严重混叠的传感器数据中的语音信息,还解决了基于学习的模型迁移性比较差的问题。手机内建传感器在不同的场景下采集的数据有不同的特点,本发明从传感器数据的内在特征与语音信号的特点出发,无需使用数据集进行模型训练,直接构造了一个语音信息恢复系统,且能够适应用户、环境和设备的变化,有效地从手机内建传感器中恢复出隐匿的语音信号。

    基于白盒语音对抗样本的隐私保护方法与装置

    公开(公告)号:CN115208507B

    公开(公告)日:2024-12-03

    申请号:CN202210996591.7

    申请日:2022-08-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于白盒语音对抗样本的隐私保护方法与装置,基于非目标白盒对抗样本的针对开源语音识别模型的干扰方法,在真实物理世界有效且符合实际应用场景约束,用以实现语音隐私保护;防御方建立语音数据库,针对开源语音识别模型,生成符合实际应用场景约束的非目标白盒对抗样本扰动;基于不同的初始状态,防御方可以生成大量不同块状扰动,从而形成扰动集合,防御方从扰动集合中随机选择扰动进行播放,使监听方无法获取块状扰动波形进而无法去除扰动;叠加了扰动的语音被麦克风录制后无法被模型正确识别,从而保护用户隐私不被泄露,能够生成对人干扰较小的块状扰动,抵御来自于大规模语音识别的隐私泄露。

    一种基于电磁注入的对抗样本生成方法

    公开(公告)号:CN118918435A

    公开(公告)日:2024-11-08

    申请号:CN202410952565.3

    申请日:2024-07-16

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于电磁注入的对抗样本生成方法,该方法利用难以察觉的电磁信号作为攻击向量,向摄像头进行电磁注入以实现物理对抗样本。通过对大量物理制约因素的分析以及基于期望转换技术的对抗样本增强,克服了对抗样本物理可实现性不足的问题,有效实现了高有效性的物理对抗样本。本发明无需在场景预部署对抗图案,利用电磁信号直接操纵摄像头的传感器图像,具有隐蔽性高、可实现性强的优势。

    一种用于语音转换系统的鲁棒性评估方法

    公开(公告)号:CN118609607A

    公开(公告)日:2024-09-06

    申请号:CN202410808735.0

    申请日:2024-06-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种用于语音转换系统的鲁棒性评估方法,通过字错误率与音色识别精度两种指标,分别对所述加噪输出数据集与干净输出数据集测试得到各自的指标评分,根据评分的退化程度评估该语音转换系统的鲁棒性。因此,发明可以真实地反映出语音转换系统部署落地后能够在实际应用场景下表现出来的性能,为保证与提高语音转换系统的可靠性提供了依据,也有利于未来探索语音转换性能和不同噪声条件之间的深层相关性,可在不用更改其他步骤的情况下方便地评估任意语音转换系统在任意使用场景下的鲁棒性,能够节省人力,并具备较好的可维护性与可拓展性。实现方法简单,手段灵活,通过细粒度地微调噪声参数,覆盖了连续的环境特征。

    基于对抗生成网络的深度合成图像检测增强方法及装置

    公开(公告)号:CN117593311B

    公开(公告)日:2024-06-21

    申请号:CN202410081459.2

    申请日:2024-01-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对抗生成网络的深度合成图像检测增强方法及装置,属于图像检测技术领域,包括以下步骤:收集深度合成图像数据集#imgabs0#;根据数据集训练真伪检测模型;训练对抗生成网络以提高真伪检测模型对深度合成数据的检测性能;根据真伪检测模型构建包含梯度信息在内新数据集#imgabs1#;根据新数据集#imgabs2#对第三方真伪检测模型进行重新训练;深度合成服务方使用对抗生成网络对深度合成图片进行增强,使得第三方真伪检测模型以高检测率检测深度合成图片。本发明采用上述的一种基于对抗生成网络的深度合成图像检测增强方法及装置,可以提高对深度合成图片的检测率。

    基于声纹识别对抗性样本的物理域身份伪装系统及方法

    公开(公告)号:CN114783447A

    公开(公告)日:2022-07-22

    申请号:CN202210423843.7

    申请日:2022-04-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于声纹识别对抗性样本的物理域身份伪装系统及方法,系统包括离线训练部分和在线伪装部分,是一种将扰动与生成过程与施加过程分离的实时流式伪装攻击方法,利用实时音素对齐器和实时音素预测器预测并定位实时语音中的音素,并在音素级别生成细粒度的通用亚音素级对抗扰动,从而使得一次生成的亚音素级对抗性扰动能够实时施加到流式语音中,最终实现适应于真实物理域场景的伪装攻击形式。本发明每次实时同步的平均时间开销为0.11s,这表明本发明的同步机制能够在0.5s的同步间隔下实现良好的实时性能;音素延迟的中位数为50ms,超过75%的音素延迟小于100ms,具有良好的同步性能。

    基于神经网络生成模型的音素级声纹识别对抗样本构造系统和方法

    公开(公告)号:CN114093371B

    公开(公告)日:2024-12-03

    申请号:CN202111178765.0

    申请日:2021-10-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于神经网络生成模型的音素级声纹识别对抗样本构造系统和方法,系统包括音素识别器、扰动生成器、听感抑制器、替代分类器和系统优化器,听感抑制器生成受抑制扰动与音素识别器生成的对齐语音叠加生成对抗样本,对抗样本通过替代分类器分类将分数发送至系统优化器并将梯度反向传播给扰动生成器进行迭代更新,得到一个训练好的音素扰动生成器。本发明创新性地提出融合语音中的音素信息进行扰动构造,利用音素识别器识别和定位语音中的音素并在音素级别生成细粒度的通用对抗扰动,从而使得一步生成的对抗扰动能够重用于任意语音文本输入,最终实现文本无关、输入无关的通用对抗样本生成,极大提升对抗样本的生成效率。

    一种基于半脆弱水印的音频溯源装置及方法

    公开(公告)号:CN118887963A

    公开(公告)日:2024-11-01

    申请号:CN202410887938.3

    申请日:2024-07-03

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于半脆弱音频水印的音频溯源装置及方法,本发明半脆弱水印通过将鲁棒水印与脆弱水印相结合,不仅结合了两者的优势,并消弭了它们在音频保护与音频溯源方面的缺陷。半脆弱水印的鲁棒部分用于音频源头认证,鲁棒水印在受到恶意模型攻击后的不变性为用户提供了一个能标识音频来源的标志,能有效地实现音频的溯源工作。相对地,脆弱水印在受到恶意模型攻击后被完全破坏,在鲁棒水印被正确提取,该音频的源头被确认的前提下,无法被正确提取的脆弱水印可以被用于证明该音频受到恶意模型篡改,进而实现对音频的高效保护。

Patent Agency Ranking