一种跨模态图像-文本关联异常检测方法

    公开(公告)号:CN113159071B

    公开(公告)日:2022-06-21

    申请号:CN202110423224.3

    申请日:2021-04-20

    Applicant: 复旦大学

    Inventor: 金城 王尚尚 吴渊

    Abstract: 本发明属于计算机多媒体技术领域,具体为一种跨模态图像‑文本关联异常检测方法。本发明通过以下几个步骤来判断图像‑文本对的关联是否异常:1)图像多标签分类阶段,将图像输入基于CNN‑RNN的编码解码器,准确提取图像的标签信息;2)文本多标签分类阶段,将文本输入基于BiLSTM的网络,得到文本的标签信息;3)关联异常检测阶段,融合图像和文本的分类结果,判断图像‑文本对的关联是否异常。本发明提出的方法能够准确实现对图像‑文本对关联异常的检测,并且模型具有较强的鲁棒性。

    一种基于对抗学习的植物叶片图像细分类方法

    公开(公告)号:CN113159171A

    公开(公告)日:2021-07-23

    申请号:CN202110423483.6

    申请日:2021-04-20

    Applicant: 复旦大学

    Inventor: 金城 靳璐瑞 吴渊

    Abstract: 本发明属于图像分类技术领域,具体为一种基于对抗学习的植物叶片图像细分类方法。本发明通过将植物叶片图像多次分割打乱之后作为样本训练植物叶片图像细分类模型;最后将植物叶片图像经过同样的多重打乱操作之后输入到训练好的网络模型,计算并输出植物图片的细分类结果。相比于现有的植物细分类方法,本发明所提出的方法可以提取图片的多个粒度的特征,另外引入的全局上下文块可以融合图像的全局和局部特征,提高了网络融合多个粒度的特征的能力。

    一种基于骨架姿态的人物识别方法

    公开(公告)号:CN111738095A

    公开(公告)日:2020-10-02

    申请号:CN202010471056.0

    申请日:2020-05-28

    Applicant: 复旦大学

    Inventor: 吴渊 金城 文静

    Abstract: 本发明属于统计模式识别与图像处理技术领域,具体为一种基于骨架姿态的人物识别方法。本发明分为离线训练阶段,离线构造注册集阶段和在线识别阶段。在离线训练阶段,准备模型训练集,对模型进行训练。在离线构造注册集阶段,将用于构造注册集的骨架输入训练好的模型,得到骨架姿态特征,再将特征归一化得到注册集特征。在在线识别阶段,将待识别骨架输入训练好的模型,得到待识别的骨架姿态特征,并对特征进行归一化,然后计算其和各注册集特征之间的相似度,最后取相似度最大的注册集特征的人物id作为检索结果。本发明可以基于人体的骨架姿态进行人物识别,扩展了智能视频监控中人物识别的方法。

    一种进行广告检测的视频拷贝检测方法

    公开(公告)号:CN103605666B

    公开(公告)日:2017-01-11

    申请号:CN201310513718.6

    申请日:2013-10-28

    Applicant: 复旦大学

    Abstract: 本发明属于计算机视频处理技术领域,具体为一种进行广告检测的视频拷贝检测方法;其先采用音频匹配的方法检测出候选的匹配广告片段,然后采用图像匹配的方法去验证候选匹配片段,实现视频拷贝检测。本发明的有益效果在于:本发明方法采用把图像和音频特征二者相结合的算法,高效;其能够处理大规模视频,检测过程快速,结果更加精确。

    一种视频广告的自动检测方法

    公开(公告)号:CN103605991A

    公开(公告)日:2014-02-26

    申请号:CN201310513702.5

    申请日:2013-10-28

    Applicant: 复旦大学

    Abstract: 本发明属于计算机视频处理技术领域,具体为一种视频广告的自动检测方法。本发明输入为电视台播放的数字电视信号或本地视频格式,综合采用颜色、纹理和边缘特征,对视频进行镜头分割,关键帧提取,FMPI帧分类,拷贝检测,和疑似广告检测,最终分析出视频中的广告成分。可以用作数字电视转播的广告过滤和解决项目中需要处理视频数据自动标注的问题。本发明采用FMPI关键帧的概念,大大提高了广告拷贝检测的准确率和算法效率,对于疑似广告检测也有了非常可靠的基于FMPI关键帧的特征做分类器的依据。

    基于Transformer的多视角3D姿态估计系统

    公开(公告)号:CN114821099B

    公开(公告)日:2025-04-22

    申请号:CN202210370621.3

    申请日:2022-04-10

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息;多视角Transformer特征交换模块,将不同视角的时空域特征信息两两交换,然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系,在不同视角间充分进行特征交换和传输,提高了3D姿态估计结果的准确度。

    一种基于图注意力时空卷积的3D姿态估计方法

    公开(公告)号:CN113538581B

    公开(公告)日:2024-03-12

    申请号:CN202110811915.0

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于图注意力时空卷积的3D姿态估计方法。该3D姿态估计方法基于按照处理流程先后顺序分为前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块、后处理模块4部分的系统完成。前处理模块初步提取时域信息,然后通过切割图注意力时空卷积模块、补全图注意力时空卷积模块进一步提取时空域信息。本发明能充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息,同时能建立骨架序列时域上的长时依赖,提高了3D姿态估计的精确度。并且不需要原始视频帧的信息,减少计算量。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

    一种基于参数硬共享的姿态估计与人体解析联合学习系统

    公开(公告)号:CN113537072B

    公开(公告)日:2024-03-12

    申请号:CN202110811913.1

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于参数硬共享的姿态估计与人体解析联合学习系统。该系统分为多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分。输入图像首先经过多尺度特征提取模块得到不同尺度下的图像特征,并进行跨尺度的特征融合;再将各尺度的特征分别送入联合学习模块,得到姿态估计与人体解析的联合特征;最后将姿态估计与人体解析的联合特征分别送入姿态估计分支和人体解析分支中得到姿态估计与人体解析的结果。本发明提出了用于姿态估计与人体解析的多任务联合学习系统。本发明所提系统在姿态估计与人体解析任务上的表现优秀。

    基于显著图的时间序列异常点检测方法

    公开(公告)号:CN111967508A

    公开(公告)日:2020-11-20

    申请号:CN202010759034.4

    申请日:2020-07-31

    Applicant: 复旦大学

    Inventor: 吴渊 袁梓 金城

    Abstract: 本发明属于时间序列异常检测技术领域,具体为一种基于显著图的时间序列异常点检测方法。本发明分为序列谱残差变换阶段和序列显著图重构阶段。序列谱残差变换阶段将原始序列转化为显著图形式;序列显著图重构阶段将上一阶段得到的显著图序列作为输入,经过编码解码重构显著图序列,编码阶段利用长短期记忆模型来将输入序列压缩到向量,解码阶段利用对称的长短期记忆模型将向量重构得到的重构显著图序列,计算重构显著图序列和原始显著图序列的残差得到异常评分,通过与阈值比较检测出异常点。该方法能够很好的检测一维时间序列的异常,在时间序列异常检测通用数据集上取得了较好的结果。

    基于离散余弦变换和U-Net的时序异常检测方法

    公开(公告)号:CN111967507A

    公开(公告)日:2020-11-20

    申请号:CN202010759031.0

    申请日:2020-07-31

    Applicant: 复旦大学

    Inventor: 吴渊 袁梓 金城

    Abstract: 本发明属于时间序列异常检测技术领域,具体为一种基于离散余弦变换和U-Net的时序异常检测方法。该方法包括训练阶段和检测阶段,具体步骤如下:训练阶段将正常时序数据编码为特征图,并构建U-Net模型,使用特征图作为样本来训练模型;检测阶段将时序数据编码为特征图,把特征图输入训练好的模型获得异常分数,并根据异常分数的大小判断是否异常。本发明采用的离散余弦变换和U-Net网络模型能够有效的捕捉时序数据的时间依赖性,与基准方法相比,能实现对异常更准确地检测。

Patent Agency Ranking