-
公开(公告)号:CN119851067A
公开(公告)日:2025-04-18
申请号:CN202510324624.7
申请日:2025-03-19
Applicant: 中国科学院自动化研究所
IPC: G06V10/774 , G06V10/764 , G06V10/25 , G06V10/82 , G06T3/4046 , G06T3/4038
Abstract: 本公开关于基于结构因果的图像鉴伪和训练方法及相关设备,包括:针对两张训练图像中的每张训练图像,通过骨干网络提取该张训练图像的深度特征,并通过FBEM基于该张训练图像对应的坐标位置对该张训练图像的深度特征进行解耦;通过FBEM将从两张训练图像中提取出的任意第一特征和第二特征进行拼接;将拼接特征输入分类器;基于图像的真伪预测结果和图像真伪标签,计算损失;通过根据损失调整骨干网络、FBEM和分类器的参数。这样,通过分别针对内容不同的训练图像的整体特征进行解耦并拼接的训练方式,可以保证训练完成的图像鉴伪模型能够精准地识别出图像中的被篡改区域,从而可以提升图像鉴伪的准确性。
-
公开(公告)号:CN119729038A
公开(公告)日:2025-03-28
申请号:CN202311279467.X
申请日:2023-09-28
Applicant: 抖音视界有限公司 , 脸萌有限公司 , 中国科学院自动化研究所
IPC: H04N21/234 , H04N21/44
Abstract: 提供了用于处理视频数据的方法、装置、设备和介质。在一种方法中,响应于接收到视频数据,从视频数据中获取语言数据。从视频数据中获取视觉数据。根据视频处理模型,基于语言数据和视觉数据来确定用于指示视频数据的视频表示。利用本公开的示例性实现方式,在实现视频理解的过程中,可以充分考虑视频数据中的语言方面和视觉方面,从而获得能够更准确地描述视频数据的多方面信息的视频表示。
-
公开(公告)号:CN115908144A
公开(公告)日:2023-04-04
申请号:CN202310215782.X
申请日:2023-03-08
Applicant: 中国科学院自动化研究所 , 中国电子科技集团公司电子科学研究院
IPC: G06T3/40 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于随机小波注意力的图像处理方法、装置、设备及介质,涉及数据处理技术领域,方法包括:获取待处理的图像作为初始输入图像;将初始输入图像输入至预先设置的卷积编码器,得到卷积编码器输出的高维特征;卷积编码器用于将初始输入图像中的特征转换为高维特征;将高维特征输入至预先设置的深层图像特征提取器,得到深层图像特征提取器输出的深层图像特征;深层图像特征提取器用于基于高维特征,通过小波变换方法提取初始输入图像中的深层图像特征;将高维特征和深层图像特征输入至预先设置的卷积解码器,得到卷积解码器输出的超分辨率后的高清图像;卷积解码器用于基于高维特征和深层图像特征,预测超分辨率后的高清图像。
-
公开(公告)号:CN114596608B
公开(公告)日:2023-03-28
申请号:CN202210061187.0
申请日:2022-01-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于多线索的双流视频人脸伪造检测方法及系统,包括:将待检测视频流输入至预先训练好的多线索视频伪造检测模型,得到人脸真假分类检测结果;该检测模型是基于EfficientNet‑B5网络和Swin Transformer网络并行交互融合形成多线索,对伪造视频训练数据集进行训练所得到的。本发明通过利用视频图像帧中的高频信息、低级纹理和光流信息的组合线索,融合EfficientNet‑B5网络的局部特征提取能力以及Swin Transformer网络的全局关系感知能力,在分辨视频帧中人脸图像的真假时,体现了更优越的分类性能,有效克服传统分类模型在线索上的单一性和模型上泛化性低的缺陷。
-
公开(公告)号:CN114596608A
公开(公告)日:2022-06-07
申请号:CN202210061187.0
申请日:2022-01-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于多线索的双流视频人脸伪造检测方法及系统,包括:将待检测视频流输入至预先训练好的多线索视频伪造检测模型,得到人脸真假分类检测结果;该检测模型是基于EfficientNet‑B5网络和Swin Transformer网络并行交互融合形成多线索,对伪造视频训练数据集进行训练所得到的。本发明通过利用视频图像帧中的高频信息、低级纹理和光流信息的组合线索,融合EfficientNet‑B5网络的局部特征提取能力以及Swin Transformer网络的全局关系感知能力,在分辨视频帧中人脸图像的真假时,体现了更优越的分类性能,有效克服传统分类模型在线索上的单一性和模型上泛化性低的缺陷。
-
公开(公告)号:CN113627404A
公开(公告)日:2021-11-09
申请号:CN202111185354.4
申请日:2021-10-12
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于因果推断的高泛化人脸替换方法、装置和电子设备,所述方法包括:确定源人脸图像和目标人脸图像;将所述源人脸图像和所述目标人脸图像输入至人脸替换模型中,得到所述人脸替换模型输出的人脸替换图像;其中,所述人脸替换模型基于所述目标人脸图像的表情姿态参数对身份信息的因果效应,确定所述源人脸图像的身份信息表示,基于所述身份信息表示和所述目标人脸图像的感知信息表示进行人脸替换;所述人脸替换模型是基于样本源人脸图像和样本目标人脸图像进行训练得到的。本发明提供的方法、装置、电子设备与存储介质,得到了高质量逼真的人脸替换图像,从而提升了人脸替换技术在不同目标场景下的稳定性和泛化能力。
-
公开(公告)号:CN112862875A
公开(公告)日:2021-05-28
申请号:CN202110060900.5
申请日:2021-01-18
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于数据处理领域,具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备,旨在提高去雨质量。本发明方法包括:获取待去雨处理的雨图作为初始输入图像;将初始输入图像,通过基于选择性小波注意力编码器SWAE和选择性小波注意力解码器SWAG的残差网络架构的去雨网络模型,进行去雨处理,得到去雨后的图像;SWAE和SWAG跳层连接;SWAE将包含雨和背景信息的特征转化为小波域,根据估计的选择性小波注意力图,在小波池化下采样前将特征分解为雨和背景空间;SWAG在小波域中融合前一层的输出特征和跳连过来的背景特征,通过小波解池化进行上采样。本发明提高了去雨质量,同时保证了去雨质量的稳定性。
-
公开(公告)号:CN109886072A
公开(公告)日:2019-06-14
申请号:CN201811595193.4
申请日:2018-12-25
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉技术领域,具体涉及一种基于双向Ladder结构的人脸属性分类系统,旨在解决如何充分利用深度网络中不同层次的特征,以及不同层次特征与不同人脸属性之间的对应关系,以提高人脸属性分类的精确度。为此目的,本发明提供的基于双向Ladder结构的人脸属性分类系统包括双向Ladder自编码器模块、自适应注意力模块和自适应评分融合模块;双向Ladder自编码器模块包括编码器模块和解码器模块;自适应注意力模块包括多个注意力子模块;自适应评分融合模块配置为根据编码器模块的输出结果与注意力子模块输出的结果获取待测人脸图像的人脸属性分类结果。基于上述结构可以充分利用不同层次的编码特征和解码特征,提高人脸属性分类的精确度。
-
-
-
-
-
-
-