-
公开(公告)号:CN116452896B
公开(公告)日:2023-10-20
申请号:CN202310715333.1
申请日:2023-06-16
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/44 , G06V10/422 , G06V10/54 , G06V10/77 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0475 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种用于提升细粒度图像分类性能的方法、系统、设备及介质,它们是一一对应的方案,方案中:在细粒度图像分类网络中设置源信息生成器、中间处理器与目标结合器对细粒度图像分类网络提取的图像特征进行处理后再进行分类,可以提升分类精确度;源信息生成器、中间处理器与目标结合器可以适用于多种结构的细粒度图像分类网络,体现了其即插即用特性,并且,所需的额外计算非常小,与现有的细粒度图像分类网络相结合,能带来更进一步的性能提升,体现了泛用性;综上所示,本发明可以兼顾计算资源消耗和精度提升,并且可以实现即插即用性和泛用性,对于细粒度识别的实际应用有积极深远的影响。
-
公开(公告)号:CN112820320B
公开(公告)日:2023-10-20
申请号:CN202011644929.X
申请日:2020-12-31
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种跨模态注意力一致性网络自监督学习方法,包括:获取视频信号和音频信号;进行自适应卷积运算得到视频自适应卷积核和音频自适应卷积核;进行跨模态对比损失计算得到视频自适应卷积核对比损失和音频自适应卷积核对比损失;在音频/视频模态下进行金字塔协同滤波得到视频引导下的音频注意力图和音频引导下的视频注意力图;通过显著性检测计算获得自身视频注意力图和自身音频注意力图;进行一致性运算得到音频注意力图对比损失和视频注意力图对比损失;将视频自适应卷积核对比损失、音频自适应卷积核对比损失、音频注意力图对比损失和视频注意力图对比损失求和,并优化至收敛,获得发声物体的区域和目标物体发出的声音频率。
-
公开(公告)号:CN116740794A
公开(公告)日:2023-09-12
申请号:CN202311022982.X
申请日:2023-08-15
Applicant: 中国科学技术大学
IPC: G06V40/16 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种人脸伪造图像鉴别方法、系统、设备及存储介质,它们是一一对应的方案,方案中:提取待检测图像与参考图像的身份表征,以及提取待检测图像与参考图像对应的特征图,利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子,并结合两个特征图获得对应空间激活图,最终得到对应的身份矫正表征,将待检测图像与参考图像各自对应的两类身份表征进行融合,再根据两个融合特征的相似度,鉴别待检测图像的真伪。上述方案可以自适应地挖掘伪造人脸中的判别性局部区域,灵活度高,泛化性强,并进行偏置矫正,不需要任何手工设计的特征或人脸三维信息等进行辅助,简单易行,总体来说,可以实现高精度的人脸伪造鉴别。
-
公开(公告)号:CN116384340B
公开(公告)日:2023-08-29
申请号:CN202310574093.8
申请日:2023-05-22
Applicant: 中国科学技术大学
IPC: G06F40/126 , G06F40/35 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084 , H04N21/44 , H04N21/466 , H04N21/488
Abstract: 本发明涉及视频弹幕情感分析技术领域,公开了一种基于变分跨模态表征的实时弹幕情感分析方法,包括视频编码、自动门控、文本编码、特征融合、弹幕重构和弹幕情感分析,最终预测得到弹幕情感。本方法利用自动门控模块将周围弹幕作为目标弹幕的上下文信息,并利用文本编码模块对目标弹幕进行特征提取,在编码模块和解码模块之间的特征融合模块会把视频信息融入进来,解码模块中的弹幕重构模块可以学习到不同模态之间的关系,促进情感分析模块预测出弹幕情感。
-
公开(公告)号:CN116311482B
公开(公告)日:2023-08-29
申请号:CN202310584027.9
申请日:2023-05-23
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种人脸伪造检测方法、系统、设备及存储介质,它们是一一对应的方案,方案中:Transformer网络的全局感受野可以有效捕获全局的融合痕迹,结合本发明提出的基于图像块的自监督预训练和区域级的对比学习可以有效地引导Transformer网络去关注细微的融合痕迹,显著的改善了现有检测算法的泛化性能;实验表明本发明提供的方案可以极大的提高检测准确度。
-
公开(公告)号:CN113592758B
公开(公告)日:2023-08-29
申请号:CN202110881424.3
申请日:2021-08-02
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种基于局部对比度预处理的图像融合方法,包括:1、预处理阶段:对源图像进行基于局部对比度的预处理,得到相应的图像块组,以及与图像块相对应的向量形式的局部对比度;2、融合阶段:使用匹配追踪算法求解局部对比度的稀疏系数,并把稀疏系数的l1范数作为对应图像块的信息活跃度,按照最大值选择的融合规则对源图像块融合,得到融合图像块组;3、重建阶段:对融合图像块组使用反滑动窗口以及重叠像素平均加权方法得到融合图像。本发明能提升基于稀疏表示图像融合方法对于细节提取的能力,同时尽可能地保留空间相关性和低频信息不丢失,从而提升视觉效果和客观评价指标上的融合结果,并为预处理提供了一种新思路。
-
公开(公告)号:CN116128043B
公开(公告)日:2023-07-18
申请号:CN202310406256.1
申请日:2023-04-17
Applicant: 中国科学技术大学
IPC: G06N3/08 , G06N3/042 , G06N3/0455 , G06N3/0464 , G06T7/13
Abstract: 本发明提供一种视频场景边界检测模型的训练方法和场景边界检测方法。该方法旨在学习深度学习模型,将长时间视频分解为有意义的故事片段,即视频场景边界检测。利用多模态专家网络和片段编码器提取输入视频序列的镜头级别多模态短时上下文特征。使用高阶编码器通过多头机制、浅层卷积网络和全局自注意力进行高阶关系建模和多模态特征融合;设计自适应解码器,利用可学习的场景原型机和交叉注意力机制将镜头级别特征聚合为场景级别特征。最后该方法利用包含上下文信息的镜头级特征和场景级特征来实现视频场景边界检测。模型根据预测场景边界和场景边界标签计算损失函数并根据损失迭代地调整初始的网络参数,得到经训练的视频场景边界检测模型。
-
公开(公告)号:CN116127204B
公开(公告)日:2023-07-18
申请号:CN202310407785.3
申请日:2023-04-17
Applicant: 中国科学技术大学
IPC: G06F16/9536 , G06F18/214 , G06F18/241 , G06N3/04 , G06F16/215 , G06F16/9535
Abstract: 本发明公开了一种多视角用户画像方法、多视角用户画像系统、设备和介质。该方法包括对用户的原始数据集进行数据清洗,并进行向量化处理,得到用户特征向量;对用户的邻接信息进行遍历并构建用户图结构数据;利用自适应参数提取器进行卷积处理,得到用户自适应性参数;对用户社交信息进行拼接,得到用户社交向量,并利用奇异值分解方法对用户社交向量进行降维处理,得到降维后的用户社交向量;利用活跃度分类网络对降维后的用户社交向量进行多层级分类处理,并根据用户活跃度信息和用户自适应性参数,利用图神经网络对用户图结构数据进行特征聚合,并利用用户类别分类网络对用户聚合特征进行多层级分类处理,并根据分类结果,生成用户画像信息。
-
公开(公告)号:CN116386122A
公开(公告)日:2023-07-04
申请号:CN202310648162.5
申请日:2023-06-02
Applicant: 中国科学技术大学
IPC: G06V40/16 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种高保真换脸方法、系统、设备及存储介质,它们是一一对应的方案,方案中:提取源人脸图像的全局身份表征;对源人脸图像与目标人脸图像各自进行解析与特征提取,并通过空间语义广播技术生成合成人脸图像的理想语义特征图;对源人脸图像与目标人脸图像,各自提取出相应的结构表征并生成合成人脸图像的理想结构信息;基于提取的源人脸图像的全局身份表征、合成人脸图像的理想语义特征图与合成人脸图像的理想结构信息,通过自适应融合的方式并经过解码后获得合成人脸图像;上述方案同时利用了人脸的局部语义信息和人脸中的结构性信息,可以取得较好的换脸效果,并且,还保留了源人脸的身份信息,可以更好的实现高保真换脸。
-
公开(公告)号:CN115861393B
公开(公告)日:2023-06-16
申请号:CN202310149445.5
申请日:2023-02-16
Applicant: 中国科学技术大学
Abstract: 本发明提供了一种图像匹配方法、航天器着陆点定位方法及相关装置,该图像匹配方法包括:获取航天器的着陆点对应的DOM;获取航天器的下降图像;通过预设仿射回归模型,获取下降图像与DOM之间的仿射变换参数;预设仿射回归模型为以截取DOM和第一仿射变换图像为训练样本,以截取DOM和第一仿射变换图像之间的第一预设仿射变换参数为样本标签训练得到的模型。根据仿射变换参数,对下降图像进行仿射变换,得到校正图像;对校正图像和DOM进行匹配,得到密集匹配结果;密集匹配结果中包含校正图像和DOM之间的坐标点对应关系。这使得本申请能够提高图像匹配效率。
-
-
-
-
-
-
-
-
-