-
公开(公告)号：CN112990222B
公开(公告)日：2021-08-10
申请号：CN202110550131.7
申请日：2021-05-20
Applicant: 之江实验室
Abstract: 本发明公开了一种基于图像边界知识迁移的引导语义分割方法包括如下步骤：S1，引导分割模块构建，S2构建约束条件，具体分为三个部分，分别是有限样本的监督、表示一致性约束、以及边界一致性约束；S3，边界知识迁移模块构建，其中主要包括伪三元组判别数据生成、边界对抗学习；通过上述步骤建立的基于图像边界知识迁移的引导语意分割方法，能够仅通过数十张有标签样本以及大量任务无关图像数据，利用图像边界知识，通过指定语义相关图像，利用语义空间特征约束，实现特定种类样本目标的语义分割。
-
公开(公告)号：CN117253177A
公开(公告)日：2023-12-19
申请号：CN202311545738.1
申请日：2023-11-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种动作视频分类方法、装置及介质，该方法将输入视频在空间上均匀分块，即令牌token，各块拉伸后得到的向量经过线性映射，得到第一视频特征；将第一视频特征输入编码模块中，得到第二视频特征；编码模块由若干个编码器组成；每个编码器由混合注意力及通道转移模块和多层感知机组成；混合注意力及通道转移模块用于进行混合注意力操作和通道转移操作；混合注意力包括空间注意力、时间注意力和随机注意力；第二视频特征经过空间池化操作后，送入分类器中进行分类，并得到各视频帧的分类结果；然后再使用时域均匀聚合操作，得到输入视频的分类结果。本发明的混合注意力有效降低了注意力机制的运算开销，时间复杂度低。
-
公开(公告)号：CN115908955B
公开(公告)日：2023-06-20
申请号：CN202310202396.7
申请日：2023-03-06
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/778 , G06V40/10
Abstract: 本发明公开了基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置，通过构建鸟类图像分类数据集；在训练阶段，从鸟类图像分类数据集抽取支撑集s和预测集q，经教师网络后，分别输出的特征向量进行匹配，得到预测集q的类别预测结果，并利用所述预测结果与预测集q的类别真值构建教师网络交叉熵损失函数，训练教师网络；获取鸟类图像经过教师网络、学生网络各个网络层的特征，并利用各层特征的和，作为损失值反向传播，得到输入的鸟类图像基于损失值的梯度信息，构建梯度损失函数，使教师网络和学生网络输入的鸟类图像的梯度信息相匹配；梯度损失函数叠加学生网络交叉熵损失函数，训练学生网络，用于鸟类图像分类。
-
公开(公告)号：CN115063732A
公开(公告)日：2022-09-16
申请号：CN202210980578.2
申请日：2022-08-16
Applicant: 之江实验室
IPC: G06V20/40 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于双流多分辨率综合建模的动作视频分类方法和系统，包括以下步骤：步骤S1：从视频样本中构建高分辨率稀疏采样帧和低分辨率稠密采样帧两种网络输入；步骤S2：所提出的双流多分辨率建模网络包含两个分支，分别处理这两种输入；步骤S3：利用侧边连接进行特征融合，得到融合后的空域卷积特征；步骤S4：两个分支得到的视频卷积特征分别经过2D池化操作和3D池化操作进行时空对齐，并在加权融合后输入全连接层，得到各视频段的预测结果；步骤S5：将各视频段的预测结果均匀融合得到原始视频的分类结果，进行网络训练。本发明基于时空多层次建模思想，分别构建两种网络输入，这两种输入包含互补的空域表观和时域运动信息，且降低运算开销。
-
公开(公告)号：CN114419524B
公开(公告)日：2022-08-05
申请号：CN202210316304.3
申请日：2022-03-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。
-
Patent Agency Ranking
公开(公告)号：CN112801162B
公开(公告)日：2022-06-24
申请号：CN202110088346.1
申请日：2021-01-22
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图像属性先验的自适应软标签正则化方法，包括如下步骤：S1，通过神经网络中间特征层聚合构建图像的属性表达；S2，利用重参数化方法对属性概率先验进行软采样；S3，利用现有真值标签对采样软标签进行修正和截断；S4，多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力，在利用少量参数的情况下，有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题，有效的提升图像分类的准确性。本发明实现方法简单，手段灵活，可以比较容易地应用到一般性图像分类任务中。
-
公开(公告)号：CN114064967B
公开(公告)日：2022-05-06
申请号：CN202210052687.8
申请日：2022-01-18
Applicant: 之江实验室
IPC: G06F16/735 , G06F16/78 , G06F16/783 , G06N3/04 , G06N3/08 , H04N19/149 , H04N19/21
Abstract: 本发明公开了多粒度级联交互网络的跨模态时序行为定位方法及装置，用于解决未修剪视频中基于给定文本查询的时序行为定位问题。本发明实施一种新的多粒度级联跨模态交互网络，以由粗到细的方式进行级联跨模态交互，用以提升模型的跨模态对齐能力。此外，本发明引入了一种局部‑全局上下文感知的视频编码器(local‑global context‑aware video encoder)，用于提升视频编码器的上下文时序依赖建模能力。本发明实现方法简单，手段灵活，在提升视觉‑语言跨模态对齐精度方面具有优势，且训练所得模型在成对的视频‑查询测试数据上可显著提升时序定位准确度。
-
公开(公告)号：CN114419524A
公开(公告)日：2022-04-29
申请号：CN202210316304.3
申请日：2022-03-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。
-
公开(公告)号：CN113869463B
公开(公告)日：2022-04-15
申请号：CN202111457536.2
申请日：2021-12-02
Applicant: 之江实验室
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交叉增强匹配的长尾噪声学习方法，用于解决同时具有长尾特征与噪声标签的图像分类问题。根据数据噪声特征，该方法通过对弱增强数据与强增强数据分别取得的预测结果进行匹配来筛选噪声样本，并引入一种剔除噪声的正则化措施来消除被识别噪声样本的影响。针对数据长尾特征，该方法实施一种新的基于在线先验分布的预测惩罚以避免对头部类别的偏置。本发明实现方法简便，手段灵活，在实时获取类拟合度方面具有优势，因此在长尾数据、噪声数据以及同时具有二者特征的训练数据上都取得显著的分类效果提升。
-
公开(公告)号：CN113837154B
公开(公告)日：2022-03-25
申请号：CN202111411082.5
申请日：2021-11-25
Applicant: 之江实验室
IPC: G06V20/52 , G06V10/26 , G06V10/764 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多任务辅助的开放集过滤系统及方法，用于解决监控场景下属性分类过程中的开放集干扰问题。该系统包括图像划分层、池化层和全连接层，图像划分层与池化层之间的每个网络阶段，包括固定窗口多头自注意力机制块和移动窗口多头自注意力机制块，将每个网络阶段的固定窗口多头自注意力机制块串联；该方法利用transformer能够实现全网络感受野不变的特点，在构建的属性分类网络上，加入分割分支实现图像块分割，利用图像块分割过滤属性分类中的开放集，针对图像块分割过程中背景、前景数量不均衡问题，实施一种新的基于特征增广的惩罚公式，提升图像块分割分支前景、背景的识别效果。
-
-
-
-
-
-
-
-
-
Search Results
39
records
(took 0.032 seconds)
