-
公开(公告)号:CN119206427A
公开(公告)日:2024-12-27
申请号:CN202411086736.5
申请日:2024-08-08
Applicant: 中国科学院自动化研究所
IPC: G06V10/82 , G06N3/0895 , G06N3/0499 , G06V10/766
Abstract: 本发明提供一种基于统一信息流的掩码图像建模自监督学习方法及装置,方法包括:对自监督学习任务的待处理图像进行图像分块化得到等分像素块;调用特征编码器对等分像素块进行基于信息流的解耦处理,得到深层表征信息;基于分形空间填充曲线范式,对深层表征信息进行分形序列构建,得到分形序列表征信息,并调用特征解码器解码得到特征预测值;将特征预测值进行线性映射处理,得到自监督学习任务的目标预测结果,并构建自监督学习损失值,用于对所述自监督学习模型进行训练。通过本申请,解决了现有技术在图像特征构建时,未关注图像块特征之间的依赖关系及图像模态二维特性,导致掩码图像建模时图像表征学习能力下降,且通用性差的问题。
-
公开(公告)号:CN113627233B
公开(公告)日:2024-08-13
申请号:CN202110672769.8
申请日:2021-06-17
Applicant: 中国科学院自动化研究所
IPC: G06F30/27
Abstract: 本发明提供一种基于视觉语义信息的人脸伪造检测方法和装置,其中方法包括:确认待检测人脸图像;基于人脸伪造检测模型,提取所述待检测人脸图像的图像上下文特征和人脸区域特征,基于所述图像上下文特征和所述人脸区域特征,确定人脸区域关系特征,并基于所述人脸区域关系特征,确定所述待检测人脸图像的伪造检测结果;所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息;其中,所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。本发明提高了人脸伪造检测准确性,尤其是未知伪造方法对应的图像的检测准确性,提升了人脸伪造检测模型的泛化能力。
-
公开(公告)号:CN115062673B
公开(公告)日:2022-10-28
申请号:CN202210895580.X
申请日:2022-07-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉技术领域,提供一种图像处理方法、装置、电子设备及存储介质,其中方法包括:获取待处理图像;将所述待处理图像输入至特征提取模型,得到所述特征提取模型输出的图像特征;基于所述图像特征,对所述待处理图像进行图像处理;所述特征提取模型包括正交自注意力模块,所述正交自注意力模块用于将所述待处理图像的令牌投影到正交空间进行自注意力转换。本发明提供的方法、装置、电子设备及存储介质,特征提取模型中的正交自注意力模块,可以将待处理图像的令牌投影到正交空间进行自注意力转换,降低了自注意力转换的复杂度,提高了图像特征的提取质量,因此保证了图像处理的有效性。
-
公开(公告)号:CN115062673A
公开(公告)日:2022-09-16
申请号:CN202210895580.X
申请日:2022-07-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉技术领域,提供一种图像处理方法、装置、电子设备及存储介质,其中方法包括:获取待处理图像;将所述待处理图像输入至特征提取模型,得到所述特征提取模型输出的图像特征;基于所述图像特征,对所述待处理图像进行图像处理;所述特征提取模型包括正交自注意力模块,所述正交自注意力模块用于将所述待处理图像的令牌投影到正交空间进行自注意力转换。本发明提供的方法、装置、电子设备及存储介质,特征提取模型中的正交自注意力模块,可以将待处理图像的令牌投影到正交空间进行自注意力转换,降低了自注意力转换的复杂度,提高了图像特征的提取质量,因此保证了图像处理的有效性。
-
公开(公告)号:CN112862875B
公开(公告)日:2022-02-15
申请号:CN202110060900.5
申请日:2021-01-18
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于数据处理领域,具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备,旨在提高去雨质量。本发明方法包括:获取待去雨处理的雨图作为初始输入图像;将初始输入图像,通过基于选择性小波注意力编码器SWAE和选择性小波注意力解码器SWAG的残差网络架构的去雨网络模型,进行去雨处理,得到去雨后的图像;SWAE和SWAG跳层连接;SWAE将包含雨和背景信息的特征转化为小波域,根据估计的选择性小波注意力图,在小波池化下采样前将特征分解为雨和背景空间;SWAG在小波域中融合前一层的输出特征和跳连过来的背景特征,通过小波解池化进行上采样。本发明提高了去雨质量,同时保证了去雨质量的稳定性。
-
公开(公告)号:CN113627233A
公开(公告)日:2021-11-09
申请号:CN202110672769.8
申请日:2021-06-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于视觉语义信息的人脸伪造检测方法和装置,其中方法包括:确认待检测人脸图像;基于人脸伪造检测模型,提取所述待检测人脸图像的图像上下文特征和人脸区域特征,基于所述图像上下文特征和所述人脸区域特征,确定人脸区域关系特征,并基于所述人脸区域关系特征,确定所述待检测人脸图像的伪造检测结果;所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息;其中,所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。本发明提高了人脸伪造检测准确性,尤其是未知伪造方法对应的图像的检测准确性,提升了人脸伪造检测模型的泛化能力。
-
公开(公告)号:CN115908144B
公开(公告)日:2023-06-02
申请号:CN202310215782.X
申请日:2023-03-08
Applicant: 中国科学院自动化研究所 , 中国电子科技集团公司电子科学研究院
IPC: G06T3/40 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于随机小波注意力的图像处理方法、装置、设备及介质,涉及数据处理技术领域,方法包括:获取待处理的图像作为初始输入图像;将初始输入图像输入至预先设置的卷积编码器,得到卷积编码器输出的高维特征;卷积编码器用于将初始输入图像中的特征转换为高维特征;将高维特征输入至预先设置的深层图像特征提取器,得到深层图像特征提取器输出的深层图像特征;深层图像特征提取器用于基于高维特征,通过小波变换方法提取初始输入图像中的深层图像特征;将高维特征和深层图像特征输入至预先设置的卷积解码器,得到卷积解码器输出的超分辨率后的高清图像;卷积解码器用于基于高维特征和深层图像特征,预测超分辨率后的高清图像。
-
公开(公告)号:CN115965969A
公开(公告)日:2023-04-14
申请号:CN202310041741.3
申请日:2023-01-11
Applicant: 中国科学院自动化研究所
IPC: G06V20/70 , G06V10/26 , G06V20/56 , G06V10/52 , G06V10/82 , G06T7/80 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/048
Abstract: 本发明提供一种基于几何先验的鸟瞰图语义分割方法、装置、设备及介质,其中方法包括:获取待处理图像和鸟瞰图查询特征;将所述待处理图像输入至特征提取器,得到所述特征提取器输出的图像特征;将所述图像特征和所述鸟瞰图查询特征输入至特征提取模型,得到所述特征提取模型输出的鸟瞰图特征;基于所述鸟瞰图特征,对所述待处理图像进行语义分割;所述特征提取模型包括自注意力模块,所述自注意力模块用于将所述待处理图像的令牌和所述鸟瞰图查询特征进行跨视图自注意力转换。本发明提供的方法、装置、电子设备及存储介质,可以降低自注意力机制的计算复杂度,进一步降低图像特征提取的复杂度,并且提高了后续语义分割的准确性和可靠性。
-
公开(公告)号:CN118762132B
公开(公告)日:2024-12-10
申请号:CN202411245377.3
申请日:2024-09-05
Applicant: 中国科学院自动化研究所
IPC: G06T17/00 , G06T15/00 , G06T15/20 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本公开提供了一种基于视角一致性增强的三维数据生成方法及系统。基于视角一致性增强的三维数据生成方法包括:获取三维数据生成模型输出的三维数据,作为目标三维数据;基于所述目标三维数据,渲染出与多个视角一一对应的多个原始二维视图;将至少一个原始二维视图和查询提示信息,输入多模态模型,得到所述多模态模型输出的查询结果;针对所述查询结果,对所述至少一个原始二维视图进行修正,得到至少一个修正后二维视图;基于所述至少一个原始二维视图和所述至少一个修正后二维视图,计算第一损失函数,并基于所述第一损失函数更新所述三维数据生成模型的模型参数;获取更新后的三维数据生成模型输出的三维数据。
-
公开(公告)号:CN118762132A
公开(公告)日:2024-10-11
申请号:CN202411245377.3
申请日:2024-09-05
Applicant: 中国科学院自动化研究所
IPC: G06T17/00 , G06T15/00 , G06T15/20 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本公开提供了一种基于视角一致性增强的三维数据生成方法及系统。基于视角一致性增强的三维数据生成方法包括:获取三维数据生成模型输出的三维数据,作为目标三维数据;基于所述目标三维数据,渲染出与多个视角一一对应的多个原始二维视图;将至少一个原始二维视图和查询提示信息,输入多模态模型,得到所述多模态模型输出的查询结果;针对所述查询结果,对所述至少一个原始二维视图进行修正,得到至少一个修正后二维视图;基于所述至少一个原始二维视图和所述至少一个修正后二维视图,计算第一损失函数,并基于所述第一损失函数更新所述三维数据生成模型的模型参数;获取更新后的三维数据生成模型输出的三维数据。
-
-
-
-
-
-
-
-
-