公开(公告)号：CN116597811A

公开(公告)日：2023-08-15

申请号：CN202310533603.7

申请日：2023-05-12

Applicant: 浙江大学 ,  浙江大学杭州国际科创中心

Inventor： 卢立 ,  陈锰 ,  巴钟杰 ,  林峰 ,  任奎

IPC: G10L15/01 ,  G10L15/06 ,  G10L15/16 ,  G10L17/04 ,  G10L17/18 ,  G06F21/57 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于房间脉冲响应的语音后门验证方法，包括：获取目标语音模型的干净语音样本和其所在物理空间的属性信息；根据属性信息设定声学参数，并根据声学参数构建房间脉冲响应的条件向量；将条件向量与随机采样的隐向量拼接后输入房间脉冲响应生成器，合成房间脉冲响应信号作为动态触发器；使用动态触发器对干净语音样本进行投毒作为毒化语音样本，利用毒化语音样本和干净语音样本对目标语音模型进行训练，使得目标语音模型被受到感染并被注入后门；将受感染的目标语音模型部署后，正常说话发出语音以触发后门，从而验证目标语音模型的后门脆弱性，该方法有效提升语音后门的隐蔽性和鲁棒性，从而提供真实可靠的后门攻击测试。

公开(公告)号：CN117540788A

公开(公告)日：2024-02-09

申请号：CN202410029633.9

申请日：2024-01-09

Applicant: 浙江大学 ,  浙江大学嘉兴研究院

Inventor： 巴钟杰 ,  魏耀 ,  陈烨灵 ,  黄鹏 ,  程鹏 ,  王庆龙 ,  秦湛 ,  任奎

IPC: G06N3/0895 ,  G06N3/006 ,  G06N3/0455 ,  G06V10/82

Abstract: 本发明公开了一种以控制为中心的自监督学习的双阶段通用智能体训练方法，属于人工智能感知决策技术领域，包括以下步骤：步骤1、设计多模态的决策基础模型，包括编码器和控制解码器；步骤2、收集跨领域跨模态跨具身的多任务数据集；步骤3、使用以控制为中心的自监督损失函数通过自监督学习训练多模态的决策基础模型；步骤4、通过多模态指令对齐的模仿学习来训练多模态的决策基础模型；步骤5、将训练完成的多模态的决策基础模型部署到平台中进行测试使用。本发明提供了一种以控制为中心的自监督学习的双阶段通用智能体训练方法，具有卓越的适应性，能够适应跨领域、跨场景和跨具身的广泛决策任务。

公开(公告)号：CN117494118A

公开(公告)日：2024-02-02

申请号：CN202311771082.5

申请日：2023-12-21

Applicant: 浙江大学 ,  浙江大学嘉兴研究院

Inventor： 巴钟杰 ,  钟杰洺 ,  陈海昕 ,  王庆龙 ,  程鹏 ,  任奎

IPC: G06F21/55 ,  G06N20/00 ,  G06F40/30 ,  G06F40/284

Abstract: 本发明公开了一种基于隐空间仿射的文生图模型测评方法，涉及文生图模型安全性测评技术领域，包括以下步骤：S1：根据目标生成的有害内容撰写相应有害提示词P；S2：将有害提示词P输入文生图模型；S3：分离被禁止的提示词PN的敏感部分W；S4：去除PN的敏感部分W并记为PT，将PT输入文生图模型测试提示词能否通过安全模块的限制；S5：利用隐空间仿射原理重新生成敏感部分W的替代词，与PT重新构成攻击提示词PA；S6：将PA输入文生图模型测试攻击效果。本发明采用上述的一种基于隐空间仿射的文生图模型测评方法，问询次数更低，效率更高，生成图像种类更可控。

公开(公告)号：CN116798441A

公开(公告)日：2023-09-22

申请号：CN202310608250.2

申请日：2023-05-26

Applicant: 浙江大学 ,  浙江大学杭州国际科创中心

Inventor： 卢立 ,  陈钱牛 ,  顾哲涵 ,  巴钟杰 ,  林峰 ,  任奎

IPC: G10L21/013 ,  G10L25/18 ,  G10L25/30 ,  H04N21/2187

Abstract: 本发明公开了一种虚拟直播环境下的实时语音转换方法和装置，高度保留了扮演者的语气、语调等身份无关的语音特征，为用户提供了无需注册、重训练即可在个人电脑上流畅运行的服务。此外，该方法提供20种以上的虚拟音色以供选择、切换，为VTuber提供更加多元化、个性化的虚拟角色扮演效果，更好地服务虚拟直播场景。本方法可以实现低延迟和高质量的实时语音生成，能够实现实时转换并控制实时延迟仅为70.8ms，在语音质量和易懂度上与最先进的基于Diffusion的多目标语音转换方法相当，在语音相似性上领先于目前的主流方法。

公开(公告)号：CN115631757A

公开(公告)日：2023-01-20

申请号：CN202211283900.2

申请日：2022-10-20

Applicant: 浙江大学 ,  浙江大学杭州国际科创中心

Inventor： 卢立 ,  陈锰 ,  巴钟杰 ,  林峰 ,  任奎

IPC: G10L19/008 ,  G10L19/018 ,  G10L19/16

Abstract: 本发明公开了一种面向语音身份匿名的卷积性对抗样本构造方法及装置，获得用户的原始语音样本，获得至少1个真实房间脉冲响应信号，通过获得的真实房间脉冲响应信号初始化卷积性对抗扰动，将获得的用户原始语音样本与卷积性对抗扰动进行卷积运算，得到初始的语音对抗样本，随机选择目标类别的标签，通过嵌入码级别的条件变分自编码器采样说话人嵌入码等步骤，本发明设计卷积性对抗扰动来近似真实自然的房间脉冲响应，能够有效减少扰动注入带来的信号失真，保证文本内容的完整性和声纹的一致性以及良好的音频感知质量，实现语音服务隐私和功用的平衡，提出的卷积性对抗扰动能够有效抵御常见的基于信号处理技术的对抗扰动破坏手段。

公开(公告)号：CN115830650B

公开(公告)日：2025-05-09

申请号：CN202211715794.0

申请日：2022-12-29

Applicant: 浙江大学嘉兴研究院

Inventor： 刘浏 ,  巴钟杰 ,  陈晓东 ,  林峰 ,  卢立 ,  任奎

IPC: G06V40/12

Abstract: 本发明公开了一种针对受软件噪声影响的相机指纹的匹配方法及装置，该方法包括：获取待测图像Iq和目标匹配相机指纹Kr；根据所述待测图像Iq，提取对应的待测相机指纹Kq并与目标匹配相机指纹Kr计算基本相似度Cor_pair；估计目标匹配相机指纹Kr对应的设备型号和拍摄软件的软件噪声相似度Cor_software_noise；计算Cor_pair与Cor_software_noise的比值Ratio作为新的相机指纹相似度，并将比值Ratio与预设阈值对比，得到匹配结果。通过计算待测相机指纹与同型号其他设备相机指纹计算相似度并取平均值，估计软件噪声对相似度的影响程度，避开逆向工程等复杂方案推导软件噪声的产生过程。同时，通过比值的方式得出Ratio，直接判别待测相机指纹与目标匹配相机指纹之间的相似度中存不存在相同成分，得出匹配结果。

公开(公告)号：CN114783447B

公开(公告)日：2025-05-02

申请号：CN202210423843.7

申请日：2022-04-21

Applicant: 浙江大学

Inventor： 陈钱牛 ,  卢立 ,  请求不公布姓名 ,  巴钟杰 ,  林峰 ,  任奎

IPC: G10L17/22 ,  G10L17/02 ,  G10L17/04

Abstract: 本发明公开了一种基于声纹识别对抗性样本的物理域身份伪装系统及方法，系统包括离线训练部分和在线伪装部分，是一种将扰动与生成过程与施加过程分离的实时流式伪装攻击方法，利用实时音素对齐器和实时音素预测器预测并定位实时语音中的音素，并在音素级别生成细粒度的通用亚音素级对抗扰动，从而使得一次生成的亚音素级对抗性扰动能够实时施加到流式语音中，最终实现适应于真实物理域场景的伪装攻击形式。本发明每次实时同步的平均时间开销为0.11s，这表明本发明的同步机制能够在0.5s的同步间隔下实现良好的实时性能；音素延迟的中位数为50ms，超过75％的音素延迟小于100ms，具有良好的同步性能。

公开(公告)号：CN112199685B

公开(公告)日：2024-04-19

申请号：CN202011023973.9

申请日：2020-09-25

Applicant: 浙江大学计算机创新技术研究院

Inventor： 常瑞 ,  姜博文 ,  巴钟杰 ,  任奎 ,  董延珊 ,  曾韵

IPC: G06F21/57

Abstract: 本发明公开了一种基于架构相似性的智能终端设备衍生漏洞挖掘方法。针对待检测设备和已知的一个智能终端设备作为两个智能终端设备，对两个智能终端设备进行智能终端设备架构相似性的判断，若两个智能终端设备之间具有架构相似性，则针对待检测设备进行基于架构相似性的衍生漏洞挖掘。本发明可有效提升智能终端设备漏洞挖掘效率，且具有普适性，还有利于机器自动执行完成。

公开(公告)号：CN117877129A

公开(公告)日：2024-04-12

申请号：CN202311813132.1

申请日：2023-12-26

Applicant: 浙江大学杭州国际科创中心

Inventor： 巴钟杰 ,  刘青羽 ,  程鹏 ,  王庆龙 ,  黄鹏 ,  秦湛 ,  刘振广 ,  任奎

IPC: G06V40/40 ,  G06V40/16 ,  G06V10/44

Abstract: 本发明公开一种基于信息瓶颈的深度伪造图像检测方法、系统及装置，方法包括：获取真伪视频，通过预处理得到真伪图像数据集；基于初始图像真伪检测模型，对真伪图像数据集进行特征提取得到图像局部特征集及联合局部特征，建立局部损失函数；通过联合局部特征，得到图像全局特征，进而搭建全局损失函数；基于图像全局特征判定真伪，通过结果搭建类别损失函数；结合局部损失函数、全局损失函数及类别损失函数，对初始伪造图像检测模型进行优化更新，得到图像真伪检测模型；将待检测图像输入图像真伪检测模型中，得到图像真伪检测结果。通过本发明的方法得到更加全面的伪造特征，解决现有伪造图像检测模型的准确度不足及泛化性不强的问题。

公开(公告)号：CN117876204A

公开(公告)日：2024-04-12

申请号：CN202410055135.1

申请日：2024-01-15

Applicant: 浙江大学

Inventor： 巴钟杰 ,  廉伟辰 ,  王庆龙 ,  程鹏 ,  黄鹏 ,  秦湛 ,  任奎

IPC: G06T1/00

Abstract: 本发明公开了一种基于模型密钥的图像深度区域篡改主动取证方法，涉及图像深度篡改取证领域，包括以下步骤：S1：获取模型，获取基于频域变换的可逆神经网络Invertible NeuralNetwork的图像水印模型；S2：生成模型密钥，随机生成模型密钥Kp由发布方持有；S3：制作安全水印模型；S4：注入水印；S5：获取会话密钥，步骤S4中得到的冗余信息矩阵作为会话密钥Ks，由发布方持有；S6：解析水印。本发明采用上述方法，使被保护图像的隐藏信息仅在双密钥均正确的前提下才能被准确提取，提升取证效果的可靠性。还具备针对深度区域篡改算法的改动部位定位能力，扩充取证信息维度。