-
公开(公告)号：CN115082840A
公开(公告)日：2022-09-20
申请号：CN202210980779.2
申请日：2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置，包括以下步骤：步骤S1：从输入视频中提取连续采样视频帧；步骤S2：利用数据组合操作构建融合视频帧；步骤S3：利用所提出的网络模型提取视频深度特征；步骤S4：利用视频深度特征计算通道相关性矩阵；步骤S5：将通道相关性矩阵作用于视频深度特征并进行特征融合，得到融合后特征；步骤S6：所述融合后特征经过全连接层进行分类，再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合，从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性，实现了各通道之间的信息交互，达到了更好地建模效果。
-
公开(公告)号：CN114494981B
公开(公告)日：2022-08-05
申请号：CN202210357179.0
申请日：2022-04-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多层次运动建模的动作视频分类方法及系统，对段内和段间的运动信息进行多层次综合建模，其包含两个神经网络分支：段间分支对各视频段中采样得到的视频帧进行处理，用于提取前景目标的表观信息和段间运动信息；段内分支对各视频段中相邻视频帧的差值进行处理，用于提取前景目标的段内运动信息。段内分支所提取的帧差特征被用来对段间分支特征进行按通道加权，最后两个分支的卷积特征融合起来并共同输入到分类器中进行视频分类。本发明实现方法简便，手段灵活，在动作视频数据集上取得了显著的分类效果提升。
-
公开(公告)号：CN114064967A
公开(公告)日：2022-02-18
申请号：CN202210052687.8
申请日：2022-01-18
Applicant: 之江实验室
IPC: G06F16/735 , G06F16/78 , G06F16/783 , G06N3/04 , G06N3/08 , H04N19/149 , H04N19/21
Abstract: 本发明公开了多粒度级联交互网络的跨模态时序行为定位方法及装置，用于解决未修剪视频中基于给定文本查询的时序行为定位问题。本发明实施一种新的多粒度级联跨模态交互网络，以由粗到细的方式进行级联跨模态交互，用以提升模型的跨模态对齐能力。此外，本发明引入了一种局部‑全局上下文感知的视频编码器(local‑global context‑aware video encoder)，用于提升视频编码器的上下文时序依赖建模能力。本发明实现方法简单，手段灵活，在提升视觉‑语言跨模态对齐精度方面具有优势，且训练所得模型在成对的视频‑查询测试数据上可显著提升时序定位准确度。
-
公开(公告)号：CN112990222A
公开(公告)日：2021-06-18
申请号：CN202110550131.7
申请日：2021-05-20
Applicant: 之江实验室
Abstract: 本发明公开了一种基于图像边界知识迁移的引导语义分割方法包括如下步骤：S1，引导分割模块构建，S2构建约束条件，具体分为三个部分，分别是有限样本的监督、表示一致性约束、以及边界一致性约束；S3，边界知识迁移模块构建，其中主要包括伪三元组判别数据生成、边界对抗学习；通过上述步骤建立的基于图像边界知识迁移的引导语意分割方法，能够仅通过数十张有标签样本以及大量任务无关图像数据，利用图像边界知识，通过指定语义相关图像，利用语义空间特征约束，实现特定种类样本目标的语义分割。
-
公开(公告)号：CN113688843B
公开(公告)日：2024-10-15
申请号：CN202110903074.6
申请日：2021-08-06
Applicant: 之江实验室
IPC: G06V10/40 , G06V10/764
Abstract: 本发明涉及深度学习图像识别领域，尤其涉及一种基于Transformer‑VAE的零样本目标识别方法，将Transformer的编码器、解码器以及VAE的编码器、解码器结合起来，实现视觉特征域的编解码以及语义特征域的编解码，通过跨域对齐损失约束，将视觉特征域和语义特征域的隐变量限制在同一个空间，对已知类及未知类进行编码得到的隐变量进行分类，实现零样本目标识别。本发明的零样本目标识别在已知类上进行训练后能够很好得泛化到未知类上，大大降低了样本的采集与标注成本，大幅提升没有样本及样本较少场景下图像识别的任务性能，促进零样本目标识别的领域发展，加快零样本目标识别在科研与工业的研究与应用。
-
Patent Agency Ranking
公开(公告)号：CN115082840B
公开(公告)日：2022-11-15
申请号：CN202210980779.2
申请日：2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置，包括以下步骤：步骤S1：从输入视频中提取连续采样视频帧；步骤S2：利用数据组合操作构建融合视频帧；步骤S3：利用所提出的网络模型提取视频深度特征；步骤S4：利用视频深度特征计算通道相关性矩阵；步骤S5：将通道相关性矩阵作用于视频深度特征并进行特征融合，得到融合后特征；步骤S6：所述融合后特征经过全连接层进行分类，再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合，从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性，实现了各通道之间的信息交互，达到了更好地建模效果。
-
公开(公告)号：CN114332544B
公开(公告)日：2022-06-07
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
公开(公告)号：CN114494791A
公开(公告)日：2022-05-13
申请号：CN202210353591.5
申请日：2022-04-06
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出了一种基于注意力选择的transformer运算精简方法，在transformer网络的每层用注意力机制获取关联矩阵，对关联矩阵的每一行计算信息熵，获得各个局部标识对于网络任务的重要性程度，将局部标识划分为重要标识和不重要标识，每间隔一定网络层，计算不重要标识的特征参数和，将不重要标识的特征参数值加到重要标识上，删除不重要标识，仅重要标识进入网络下一层。网络训练过程中，构建交叉熵损失函数和重要性损失函数，重要性损失函数用于降低重要标识与不重要标识的关联。本发明方法从影响网络任务的判别性区域的选择角度出发，实现方法简单，有效减少网络计算量的同时，对模型精度影响很小，且可以与已知网络压缩方法同时使用，共同实现计算量压缩。
-
公开(公告)号：CN114332544A
公开(公告)日：2022-04-12
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
公开(公告)号：CN113516207B
公开(公告)日：2022-01-25
申请号：CN202111059448.7
申请日：2021-09-10
Applicant: 之江实验室
Abstract: 本发明公开了一种带噪声标签的长尾分布图像分类方法，通过样本依赖的松弛间隔损失进行学习，并辅以抗噪声的数据增强策略，用于解决同时具有长尾特征与噪声标签的图像分类问题。根据数据噪声特征，在计算样本函数间隔时引入样本依赖的松弛变量以放宽间隔约束，再根据样本间隔分类计算样本依赖的光滑松弛损失；根据数据长尾特征，实施分阶段调整的数据增强策略，对样本分别进行强增强和弱增强，并在正式训练阶段提供基于松弛损失的样本筛选机制用于筛除噪声数据。本发明实现方法简便，手段灵活，在长尾数据、噪声数据以及同时具有二者特征的训练数据上都取得显著的分类效果的提升。
-
-
-
-
-
-
-
-
-
Search Results
39
records
(took 0.026 seconds)
