-
公开(公告)号:CN113989940B
公开(公告)日:2024-03-29
申请号:CN202111363930.X
申请日:2021-11-17
Applicant: 中国科学技术大学
IPC: G06V40/20 , G06V10/764 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种视频数据中动作识别方法、系统、设备与存储介质,相关方法包括:采用视频数据多内容依赖建模的方式,对所述原始视频特征张量,从不同方向以不同尺度进行池化,再利用卷积层进行依赖激活,获得相应的依赖表征;利用询问结构的注意力机制,实现依赖表征的聚合,并对原始视频特征张量进行优化,利用优化结果进行动作识别。本发明上述方案,可以直接插入基于卷积的动作识别模型,几乎不带来额外参数与计算量,并且通过实验表明可以明显提升动作识别模型的分类性能。
-
公开(公告)号:CN118470446B
公开(公告)日:2024-10-22
申请号:CN202410931847.5
申请日:2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/74 , G06V10/77
Abstract: 本发明公开了一种小样本图像分类方法、装置、电子设备及存储介质,该小样本图像分类方法包括:获取小样本数据集,小样本数据集包括图像样本以及图像样本对应的文本标签;对图像样本进行特征提取,得到图像特征和图像特征图;根据图像特征和图像特征图,确定图像特征子空间;根据图像特征子空间,确定投影后图像特征;对文本标签进行特征提取,得到文本特征;根据文本特征以及文本特征对应的图像特征图,确定文本特征子空间;根据文本特征子空间,确定投影后文本特征;获取待分类图像;根据投影后图像特征和投影后文本特征,对待分类图像进行分类。通过本发明消除了提取出的图像特征和文本特征之间的模态差异,提升了模型在小样本图像分类准确率。
-
公开(公告)号:CN118470470A
公开(公告)日:2024-08-09
申请号:CN202410931782.4
申请日:2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/774 , G06V10/776 , G06V10/74 , G06V10/764
Abstract: 本发明公开了一种小样本图像分布估计方法、装置及存储介质,其中,小样本图像分布估计方法包括:获取基础数据集和支撑集,基础数据集中的样本与支撑集中样本的类别不同;计算支撑集中样本的类别与基础数据集中的样本的类别的第一相似度,确定支撑集的类别层级的分布估计;计算支撑集中样本的类别与基础数据集中的样本的第二相似度;确定支撑集的样例层级的分布估计;根据类别层级的分布估计以及样例层级的分布估计,确定支撑集中每个类别对应的分布估计;对支撑集中的样本进行扩充。通过从分布估计中采取新样本,以达到扩充样本的目的,解决了小样本学习中可训练样本稀缺的问题,同时可使扩充的样本表征性充足,提高分类准确率。
-
公开(公告)号:CN118470446A
公开(公告)日:2024-08-09
申请号:CN202410931847.5
申请日:2024-07-12
Applicant: 中国科学技术大学
IPC: G06V10/764 , G06V10/74 , G06V10/77
Abstract: 本发明公开了一种小样本图像分类方法、装置、电子设备及存储介质,该小样本图像分类方法包括:获取小样本数据集,小样本数据集包括图像样本以及图像样本对应的文本标签;对图像样本进行特征提取,得到图像特征和图像特征图;根据图像特征和图像特征图,确定图像特征子空间;根据图像特征子空间,确定投影后图像特征;对文本标签进行特征提取,得到文本特征;根据文本特征以及文本特征对应的图像特征图,确定文本特征子空间;根据文本特征子空间,确定投影后文本特征;获取待分类图像;根据投影后图像特征和投影后文本特征,对待分类图像进行分类。通过本发明消除了提取出的图像特征和文本特征之间的模态差异,提升了模型在小样本图像分类准确率。
-
公开(公告)号:CN115424175A
公开(公告)日:2022-12-02
申请号:CN202211053069.1
申请日:2022-08-31
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种基于沙漏卷积的层次化动态建模的视频动作分类方法及应用,该方法包括:1、视频数据提取与预处理;2、构建层次化沙漏卷积网络,包括:帧级动态信息捕捉网络,片段级动态信息捕捉网络以及分类网络;3、构建交叉熵损失函数,并对所述层次化沙漏卷积网络进行训练,得到视频动作分类器,用于实现视频动作分类。本发明提出的沙漏卷积能实现对视频动态的更好建模,同时基于沙漏卷积的帧级动态信息捕捉网络以及片段级动态信息捕捉网络,能从多个层级层次化建模视频动态信息,从而能实现更高精度的人物动作视频识别。
-
公开(公告)号:CN113989940A
公开(公告)日:2022-01-28
申请号:CN202111363930.X
申请日:2021-11-17
Applicant: 中国科学技术大学
IPC: G06V40/20 , G06V10/764 , G06K9/62 , G06F17/15
Abstract: 本发明公开了一种视频数据中动作识别方法、系统、设备与存储介质,相关方法包括:采用视频数据多内容依赖建模的方式,对所述原始视频特征张量,从不同方向以不同尺度进行池化,再利用卷积层进行依赖激活,获得相应的依赖表征;利用询问结构的注意力机制,实现依赖表征的聚合,并对原始视频特征张量进行优化,利用优化结果进行动作识别。本发明上述方案,可以直接插入基于卷积的动作识别模型,几乎不带来额外参数与计算量,并且通过实验表明可以明显提升动作识别模型的分类性能。
-
-
-
-
-