-
公开(公告)号:CN115082840A
公开(公告)日:2022-09-20
申请号:CN202210980779.2
申请日:2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置,包括以下步骤:步骤S1:从输入视频中提取连续采样视频帧;步骤S2:利用数据组合操作构建融合视频帧;步骤S3:利用所提出的网络模型提取视频深度特征;步骤S4:利用视频深度特征计算通道相关性矩阵;步骤S5:将通道相关性矩阵作用于视频深度特征并进行特征融合,得到融合后特征;步骤S6:所述融合后特征经过全连接层进行分类,再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合,从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性,实现了各通道之间的信息交互,达到了更好地建模效果。
-
公开(公告)号:CN114494981B
公开(公告)日:2022-08-05
申请号:CN202210357179.0
申请日:2022-04-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多层次运动建模的动作视频分类方法及系统,对段内和段间的运动信息进行多层次综合建模,其包含两个神经网络分支:段间分支对各视频段中采样得到的视频帧进行处理,用于提取前景目标的表观信息和段间运动信息;段内分支对各视频段中相邻视频帧的差值进行处理,用于提取前景目标的段内运动信息。段内分支所提取的帧差特征被用来对段间分支特征进行按通道加权,最后两个分支的卷积特征融合起来并共同输入到分类器中进行视频分类。本发明实现方法简便,手段灵活,在动作视频数据集上取得了显著的分类效果提升。
-
公开(公告)号:CN114332135B
公开(公告)日:2022-06-10
申请号:CN202210228536.3
申请日:2022-03-10
Applicant: 之江实验室
IPC: G06T7/11 , G06N3/04 , G06V10/774 , G06V10/82
Abstract: 本发明提出了一种基于双模型交互学习的半监督医学图像分割方法及装置,并辅以稳定性判断策略,用于解决半监督医学图像分割的伪标签质量问题。根据标签数据特征,该方法在有效学习标签数据知识时引入交叉熵和DICE的监督约束。根据伪标签特征,该方法引入伴随变量,其主要作用是缓解错误伪标签对模型学习过程的影响。对样本进行噪声增强,并在正式训练阶段提供基于样本预测结果和噪声样本预测结果之间的一致性损失。根据双模型对无标签数据的学习,该方法提出基于稳定性判断的伪标签筛选机制,实现双模型交互学习;本发明实现方法简便,手段灵活,在医学图像的训练数据上取得显著的分割效果提升。
-
公开(公告)号:CN113221824B
公开(公告)日:2022-05-24
申请号:CN202110599861.6
申请日:2021-05-31
Applicant: 之江实验室
Abstract: 本发明公开了一种基于个体模型生成的人体姿态识别方法,首先从待识别图像中获取输入图片,并采用视觉特征提取器通过卷积编码的方式生成输入图片对应的视觉特征;再采用全局语义感知网络通过线性回归的方式从视觉特征中解析得到人体区域特征图;然后采用实例级别的姿态解析模型生成器针对每个人体生成用于解析人体姿态的模型参数图;最后根据人体区域特征图和模型参数图动态解析图像中的人体姿态,得到人体姿态识别结果。本发明针对图像中出现的人体动态地生成对应的估计参数,能够更好地解决现实场景中人体姿态丰富和人体间差异大的问题。
-
公开(公告)号:CN112990222A
公开(公告)日:2021-06-18
申请号:CN202110550131.7
申请日:2021-05-20
Applicant: 之江实验室
Abstract: 本发明公开了一种基于图像边界知识迁移的引导语义分割方法包括如下步骤:S1,引导分割模块构建,S2构建约束条件,具体分为三个部分,分别是有限样本的监督、表示一致性约束、以及边界一致性约束;S3,边界知识迁移模块构建,其中主要包括伪三元组判别数据生成、边界对抗学习;通过上述步骤建立的基于图像边界知识迁移的引导语意分割方法,能够仅通过数十张有标签样本以及大量任务无关图像数据,利用图像边界知识,通过指定语义相关图像,利用语义空间特征约束,实现特定种类样本目标的语义分割。
-
公开(公告)号:CN117152538A
公开(公告)日:2023-12-01
申请号:CN202311397429.4
申请日:2023-10-26
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/30 , G06T5/00 , G06V10/82
Abstract: 本发明公开了一种基于类原型清洗去噪的图像分类方法及装置,所述方法包括以下步骤:获取图像样本并输入到图像分类模型生成伪类别标签,利用伪类别标签得到类原型;基于类原型将图像样本划分为干净图像样本与噪声图像样本,并利用干净图像样本对类原型进行更新;将噪声图像样本划分为分布内噪声图像样本和分布外噪声图像样本;利用干净图像样本、分布内噪声图像样本、以及图像样本对图像分类模型的参数进行更新,得到更新后的图像分类模型,将候选图像输入到更新后的图像分类模型,得到候选图像的类别结果。上述方案解决了噪声对含有噪声标签的图像分类任务精度低的问题。
-
公开(公告)号:CN116503679B
公开(公告)日:2023-09-05
申请号:CN202310773223.0
申请日:2023-06-28
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06N3/096 , G06N5/02
Abstract: 本申请涉及一种基于迁移性图谱的图像分类方法、装置、设备和介质,其中,基于迁移性图谱的图像分类方法包括:基于至少一个源域模型以及至少一个源域数据集,获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度;基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度,生成迁移性图谱;确定各所述源域数据集对应的至少一个可选的源域模型;基于用户选择的源域数据集和源域模型对目标域模型进行优化;将待分类图像输入到所述优化后的目标域模型,获得分类结果。可在海量源域数据集和源域模型中快速在不同源域数据集下选择合适的源域模型进行迁移学习,提高迁移学习效果,提高图像分类的精度。
-
公开(公告)号:CN116503679A
公开(公告)日:2023-07-28
申请号:CN202310773223.0
申请日:2023-06-28
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06N3/096 , G06N5/02
Abstract: 本申请涉及一种基于迁移性图谱的图像分类方法、装置、设备和介质,其中,基于迁移性图谱的图像分类方法包括:基于至少一个源域模型以及至少一个源域数据集,获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度;基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度,生成迁移性图谱;确定各所述源域数据集对应的至少一个可选的源域模型;基于用户选择的源域数据集和源域模型对目标域模型进行优化;将待分类图像输入到所述优化后的目标域模型,获得分类结果。可在海量源域数据集和源域模型中快速在不同源域数据集下选择合适的源域模型进行迁移学习,提高迁移学习效果,提高图像分类的精度。
-
公开(公告)号:CN115829005B
公开(公告)日:2023-06-27
申请号:CN202211580737.6
申请日:2022-12-09
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/08 , G06F18/24 , G06V10/82 , G06V10/764
Abstract: 本发明面向卷积神经分类网络的缺陷自动诊断与修复方法及装置,包括下列步骤:1)卷积神经分类网络预测重要性归一化;2)激活图重要性得分计算;3)正常样本激活图规律统计;4)分类错误样本激活图筛选;5)卷积神经分类网络自动化缺陷修复。本发明设计的是一种面向卷积神经分类网络的全自动缺陷诊断与修复方法,用于已经预训练的卷积神经分类网络模型缺陷检测与自动修复,能够有效提升深度卷积神经分类网络模型的分类性能。
-
公开(公告)号:CN116048542A
公开(公告)日:2023-05-02
申请号:CN202310098795.3
申请日:2023-02-11
Applicant: 之江实验室
Abstract: 本发明公开了一种计算机视觉深度学习模型的优化部署方法与装置,所述方法和装置核心为模型优化服务和模型部署服务两个模块。模型优化服务模块可将训练好的模型通过IR中间表示)转换为适配目标推理引擎及硬件设备的框架格式,提升推理性能。模型部署服务模块支持本地部署和在线部署两种方式,其中本地部署是指将待部署模型文件封装为SDK,下载至本地设备进行端侧推理;在线部署是指将待部署模型文件在云端服务器部署,开放接口供用户调用推理服务,本发明通过构建完整的模型优化和部署服务流程与装置,降低深度学习模型部署的复杂度,对多种模型网络架构、推理引擎的扩充兼容,使本公开实施例更具灵活性和可拓展性。
-
-
-
-
-
-
-
-
-