跨模态注意力一致性网络自监督学习方法

    公开(公告)号:CN112820320B

    公开(公告)日:2023-10-20

    申请号:CN202011644929.X

    申请日:2020-12-31

    Abstract: 本发明公开了一种跨模态注意力一致性网络自监督学习方法,包括:获取视频信号和音频信号;进行自适应卷积运算得到视频自适应卷积核和音频自适应卷积核;进行跨模态对比损失计算得到视频自适应卷积核对比损失和音频自适应卷积核对比损失;在音频/视频模态下进行金字塔协同滤波得到视频引导下的音频注意力图和音频引导下的视频注意力图;通过显著性检测计算获得自身视频注意力图和自身音频注意力图;进行一致性运算得到音频注意力图对比损失和视频注意力图对比损失;将视频自适应卷积核对比损失、音频自适应卷积核对比损失、音频注意力图对比损失和视频注意力图对比损失求和,并优化至收敛,获得发声物体的区域和目标物体发出的声音频率。

    人脸伪造图像鉴别方法、系统、设备及存储介质

    公开(公告)号:CN116740794A

    公开(公告)日:2023-09-12

    申请号:CN202311022982.X

    申请日:2023-08-15

    Abstract: 本发明公开了一种人脸伪造图像鉴别方法、系统、设备及存储介质,它们是一一对应的方案,方案中:提取待检测图像与参考图像的身份表征,以及提取待检测图像与参考图像对应的特征图,利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子,并结合两个特征图获得对应空间激活图,最终得到对应的身份矫正表征,将待检测图像与参考图像各自对应的两类身份表征进行融合,再根据两个融合特征的相似度,鉴别待检测图像的真伪。上述方案可以自适应地挖掘伪造人脸中的判别性局部区域,灵活度高,泛化性强,并进行偏置矫正,不需要任何手工设计的特征或人脸三维信息等进行辅助,简单易行,总体来说,可以实现高精度的人脸伪造鉴别。

    一种基于局部对比度预处理的图像融合方法

    公开(公告)号:CN113592758B

    公开(公告)日:2023-08-29

    申请号:CN202110881424.3

    申请日:2021-08-02

    Abstract: 本发明公开了一种基于局部对比度预处理的图像融合方法,包括:1、预处理阶段:对源图像进行基于局部对比度的预处理,得到相应的图像块组,以及与图像块相对应的向量形式的局部对比度;2、融合阶段:使用匹配追踪算法求解局部对比度的稀疏系数,并把稀疏系数的l1范数作为对应图像块的信息活跃度,按照最大值选择的融合规则对源图像块融合,得到融合图像块组;3、重建阶段:对融合图像块组使用反滑动窗口以及重叠像素平均加权方法得到融合图像。本发明能提升基于稀疏表示图像融合方法对于细节提取的能力,同时尽可能地保留空间相关性和低频信息不丢失,从而提升视觉效果和客观评价指标上的融合结果,并为预处理提供了一种新思路。

    视频场景边界检测模型的训练方法和场景边界检测方法

    公开(公告)号:CN116128043B

    公开(公告)日:2023-07-18

    申请号:CN202310406256.1

    申请日:2023-04-17

    Abstract: 本发明提供一种视频场景边界检测模型的训练方法和场景边界检测方法。该方法旨在学习深度学习模型,将长时间视频分解为有意义的故事片段,即视频场景边界检测。利用多模态专家网络和片段编码器提取输入视频序列的镜头级别多模态短时上下文特征。使用高阶编码器通过多头机制、浅层卷积网络和全局自注意力进行高阶关系建模和多模态特征融合;设计自适应解码器,利用可学习的场景原型机和交叉注意力机制将镜头级别特征聚合为场景级别特征。最后该方法利用包含上下文信息的镜头级特征和场景级特征来实现视频场景边界检测。模型根据预测场景边界和场景边界标签计算损失函数并根据损失迭代地调整初始的网络参数,得到经训练的视频场景边界检测模型。

    多视角用户画像方法、多视角用户画像系统、设备和介质

    公开(公告)号:CN116127204B

    公开(公告)日:2023-07-18

    申请号:CN202310407785.3

    申请日:2023-04-17

    Abstract: 本发明公开了一种多视角用户画像方法、多视角用户画像系统、设备和介质。该方法包括对用户的原始数据集进行数据清洗,并进行向量化处理,得到用户特征向量;对用户的邻接信息进行遍历并构建用户图结构数据;利用自适应参数提取器进行卷积处理,得到用户自适应性参数;对用户社交信息进行拼接,得到用户社交向量,并利用奇异值分解方法对用户社交向量进行降维处理,得到降维后的用户社交向量;利用活跃度分类网络对降维后的用户社交向量进行多层级分类处理,并根据用户活跃度信息和用户自适应性参数,利用图神经网络对用户图结构数据进行特征聚合,并利用用户类别分类网络对用户聚合特征进行多层级分类处理,并根据分类结果,生成用户画像信息。

    高保真换脸方法、系统、设备及存储介质

    公开(公告)号:CN116386122A

    公开(公告)日:2023-07-04

    申请号:CN202310648162.5

    申请日:2023-06-02

    Abstract: 本发明公开了一种高保真换脸方法、系统、设备及存储介质,它们是一一对应的方案,方案中:提取源人脸图像的全局身份表征;对源人脸图像与目标人脸图像各自进行解析与特征提取,并通过空间语义广播技术生成合成人脸图像的理想语义特征图;对源人脸图像与目标人脸图像,各自提取出相应的结构表征并生成合成人脸图像的理想结构信息;基于提取的源人脸图像的全局身份表征、合成人脸图像的理想语义特征图与合成人脸图像的理想结构信息,通过自适应融合的方式并经过解码后获得合成人脸图像;上述方案同时利用了人脸的局部语义信息和人脸中的结构性信息,可以取得较好的换脸效果,并且,还保留了源人脸的身份信息,可以更好的实现高保真换脸。

    图像匹配方法、航天器着陆点定位方法及相关装置

    公开(公告)号:CN115861393B

    公开(公告)日:2023-06-16

    申请号:CN202310149445.5

    申请日:2023-02-16

    Abstract: 本发明提供了一种图像匹配方法、航天器着陆点定位方法及相关装置,该图像匹配方法包括:获取航天器的着陆点对应的DOM;获取航天器的下降图像;通过预设仿射回归模型,获取下降图像与DOM之间的仿射变换参数;预设仿射回归模型为以截取DOM和第一仿射变换图像为训练样本,以截取DOM和第一仿射变换图像之间的第一预设仿射变换参数为样本标签训练得到的模型。根据仿射变换参数,对下降图像进行仿射变换,得到校正图像;对校正图像和DOM进行匹配,得到密集匹配结果;密集匹配结果中包含校正图像和DOM之间的坐标点对应关系。这使得本申请能够提高图像匹配效率。

Patent Agency Ranking