一种深度信息引导的双目视频反射去除方法

    公开(公告)号:CN119888424A

    公开(公告)日:2025-04-25

    申请号:CN202411949642.6

    申请日:2024-12-27

    Abstract: 本发明提供一种基于深度信息引导的含反射双目视频反射去除方法,包括透射图深度估计模块和反射去除模块。其中透射图深度估计模块对双目视频流逐帧进行深度感知,将双目视频流对应的混合深度解耦得到透射层对应的真实深度和反射层对应的伪深度,采用透射图对应的真实深度来引导反射去除网络,实现有效的反射去除。反射去除模块通过植入统一结构的特征融合和增强模块,实现了对跨视角特征、深度引导特征和跨帧间特征融合和增强,通过对CVEM模块、DGEM模块和CFEM模块设计门控控制器来控制三种不同任务的特征关系探索范围。实现了对给定含反射视频流反射去除的良好效果。

    多模态模型表征优化的开放词汇分割方法及系统

    公开(公告)号:CN118823350A

    公开(公告)日:2024-10-22

    申请号:CN202410957456.0

    申请日:2024-07-17

    Abstract: 本发明提供一种多模态模型表征优化的开放词汇分割方法及系统,属于计算机视觉技术领域,获取待分割的图像数据;利用预先训练好的多模态模型,对获取的图像进行处理,得到分割结果。本发明更好地优化了多模态任务中的视觉‑文本表征,使得同类视觉‑文本表征空间进行有效对齐;提出掩码敏感型损失在参数微调过程中约束分类得分和掩码质量保持一致,从而赋予视觉编码器局部感知能力,提升了模型在细粒度下游任务中的效果;引入了原预训练特征作为表征补偿,保证了在优化过程中预训练视觉‑语言模型的零样本能力;将文本表征和视觉表征进行交互,使得文本表征可以对于不同输入图像进行自适应增强,可有效提升开放词汇分割中视觉‑文本的对齐属性。

    一种基于重建学习的深度伪造人脸取证方法

    公开(公告)号:CN118781665A

    公开(公告)日:2024-10-15

    申请号:CN202410854978.8

    申请日:2024-06-28

    Abstract: 本发明提供了一种基于重建学习的深度伪造人脸取证方法。该方法包括:将所述待测人脸图像输入到重建网络中,对所述待测人脸图像进行编码和解码处理,得到重建图像;在编码过程中,获取待测人脸图像的隐空间特征Fenc和四维张量(N,C,H,W),在解码过程中,将四维张量(N,C,H,W)输入到残差注意力模块中,残差注意力模块获取待测人脸图像的Fdec1特征和Fdec2特征;在对待测人脸图像的解码过程中,将Fenc、Fdec1和Fdec2特征输入到多尺度图推理模块中,经过信息聚合和特征提取,计算像素级差异后得到输出特征Fatt,将输出特征Fatt送入分类器进行伪造检测。本发明通过重建学习挖掘真实图像和虚假图像的本质差异,提出面向未知伪造技术具有良好泛化能力的深度伪造人脸取证算法。

    一种基于人体关节点的行人低头异常行为的检测方法

    公开(公告)号:CN111611912B

    公开(公告)日:2024-03-19

    申请号:CN202010424789.9

    申请日:2020-05-19

    Abstract: 本发明公开了一种基于人体关节点的行人低头异常行为的检测方法,包括如下步骤:步骤一,将视频流展开为图像序列,检测视频帧中的每个行人,并裁剪人体区域框;步骤二,采用人体姿态算法独立估计每个行人的姿态;步骤三,将估计的人体姿态映射回原图,微调,直至生成准确的人体关节点的坐标信息;步骤四,重复步骤一、二、三,直至人体区域框位置不再发生变化;步骤五,训练时,采用拟合算法将正样本信息拟合为异常行为,生成负样本,正负样本构成训练集训练行为分类器,生成最优模型;步骤六,测试时,将准确关节点的坐标信息送入训练好的行为分类器中,检测并输出结果。本发明解决复杂环境中多个行人的异常行为检测容易出现的准确率低下的问题,实现在复杂场景中高准确率的多人实时检测的效果。

    一种协同显著性目标检测方法

    公开(公告)号:CN112348033B

    公开(公告)日:2024-01-26

    申请号:CN202011100360.0

    申请日:2020-10-15

    Abstract: 本发明涉及一种协同显著性目标检测方法,具体包括如下步骤:给定一个包含N幅相关图像的图像组;步骤2:使用共享的骨干特征提取器来获取深层特征;步骤3:通过在线的图内显著性引导模块生成图内显著性特征;步骤4:采用集成‑分发结构聚合群组语义特征并自适应地将其分配给不同的个体,以实现协同显著性特征学习;步骤5:将低分辨率的协同显著性特征送入群组一致性保持解码器和协同显著性预测头部件来一致性地突出协同显著性目标并生成全分辨率的协同显著性图。通过本发明提供方法能够生成更加准确、完整的协同显著性图,且能够有效抑制无关干扰的影响,图间一致性保持好。

    一种基于固有特征挖掘的AI伪造人脸检测方法

    公开(公告)号:CN113435292B

    公开(公告)日:2023-09-19

    申请号:CN202110694135.2

    申请日:2021-06-22

    Inventor: 倪蓉蓉 于洋 赵耀

    Abstract: 本发明提供了一种基于固有特征挖掘的AI伪造人脸检测方法。该方法包括:对待取证的人脸图像和视频分别从相机成像角度和制造AI伪造视频不可缺少的步骤两个方面进行固有痕迹挖掘;通过特征提取得到RGB通道残差流特征和频谱流特征;使用基于注意力机制的特征融合模块自适应地加权融合RGB通道残差流特征和频谱流特征,得到固有特征;根据不同的AI伪造技术采用对齐模块消除固有特征的分布偏差,得到有效特征;将有效特征输入到分类器中,分类器输出待取证的人脸图像和视频是否为AI伪造的检测结果。本发明提成了提出面向未知伪造技术具有良好泛化能力的AI伪造人脸取证算法,聚焦挖掘AI伪造人脸的固有和泛化特征,有效提升了AI伪造人脸检测的泛化能力。

    分级特征反馈融合的深度图像超分辨率重建方法

    公开(公告)号:CN111882485B

    公开(公告)日:2023-08-18

    申请号:CN202010566899.9

    申请日:2020-06-19

    Abstract: 本发明针对受限于深度相机采集装置,采集的深度图像存在分辨率较低、易受噪声干扰等问题,难以满足实际需求,提出了分级特征反馈融合的深度图像超分辨率重建方法,利用深层网络提取深度图像及其对应纹理图像的特征,构建深度‑纹理深层的特征表示。在此基础上,利用金字塔结构构建深度‑纹理的深层特征在不同尺度下的分层特征表示。还采用分级特征的反馈式融合策略,综合深度‑纹理的边缘特征,生成深度图像的边缘引导信息。深度图像的重建过程采用残差学习的方式,进一步增强深度图像的重建质量。本发明,通过实验结果表明,相比state‑of‑the‑arts方法,本发明提出的方法均实现了深度图像的主、客观质量的提升。

    多阶段渐进式的图像去噪算法

    公开(公告)号:CN113808032A

    公开(公告)日:2021-12-17

    申请号:CN202110892066.6

    申请日:2021-08-04

    Abstract: 本发明为一种多阶段渐进式的图像去噪算法,构建多阶段渐进式的去噪网络;每个阶段开始前使用卷积层和CAB模块提取含噪图像的浅层特征;第一阶段的浅层特征经过级联的CAB处理得到局部空间特征,经过U‑Net网络处理得到上下文语义信息;采用特征融合模块对局部空间特征和语义信息进行融合,得到第一阶段融合后的特征;第一阶段融合后的特征与第二阶段的浅层特征进行相加,相加后的特征经过级联的CAB处理得到局部空间特征,经过U‑Net网络处理得到语义信息;采用特征融合模块对局部空间特征和上下文语义信息进行融合,得到第二阶段融合后的特征;重复上述操作,得到第n阶段融合后的特征,然后经过卷积层处理后得到清晰图像。

    一种基于固有特征挖掘的AI伪造人脸检测方法

    公开(公告)号:CN113435292A

    公开(公告)日:2021-09-24

    申请号:CN202110694135.2

    申请日:2021-06-22

    Inventor: 倪蓉蓉 于洋 赵耀

    Abstract: 本发明提供了一种基于固有特征挖掘的AI伪造人脸检测方法。该方法包括:对待取证的人脸图像和视频分别从相机成像角度和制造AI伪造视频不可缺少的步骤两个方面进行固有痕迹挖掘;通过特征提取得到RGB通道残差流特征和频谱流特征;使用基于注意力机制的特征融合模块自适应地加权融合RGB通道残差流特征和频谱流特征,得到固有特征;根据不同的AI伪造技术采用对齐模块消除固有特征的分布偏差,得到有效特征;将有效特征输入到分类器中,分类器输出待取证的人脸图像和视频是否为AI伪造的检测结果。本发明提成了提出面向未知伪造技术具有良好泛化能力的AI伪造人脸取证算法,聚焦挖掘AI伪造人脸的固有和泛化特征,有效提升了AI伪造人脸检测的泛化能力。

    一种基于组稀疏优化的聚类方法

    公开(公告)号:CN112508049A

    公开(公告)日:2021-03-16

    申请号:CN202011211533.6

    申请日:2020-11-03

    Abstract: 本发明提供的一种基于组稀疏优化的类聚方法,首先是数据的处理,其目的在于获得数据集样本间的相似度矩阵目标矩阵、误差最小项和稀疏约束项;第二,构建基于组稀疏约束的优化模型,其目的在于利用更为强力的组稀疏约束来抑制噪声影响;之后,本发明提供一种基于交替方向乘子(Alternating Direction Method of Multipliers)的优化算法来快速求解所构建的优化模型;最后,本发明提供一种快速的优化聚类算法,其目的是合并冗余的聚类结果,进一步提升性能。本发明的方法约束每个样本只能由一个样本近似表示,从而可以有效的提升算法鲁棒性;另一方面,所得到的目标矩阵无需再进行谱聚类分析,从而达到端到端的聚类效果。

Patent Agency Ranking