-
公开(公告)号:CN112434723A
公开(公告)日:2021-03-02
申请号:CN202011163778.6
申请日:2020-10-27
Applicant: 之江实验室
Abstract: 本发明公开了一种基于注意力网络的日/夜间图像分类及物体检测方法,该方法首先采集街道摄像头监控视频处理成图像进行标注,结合开源的街道数据集共同构建图像数据集;通过基于特征金字塔的深度卷积神经网络提取图像的表观特征;在所提取特征上预测图像的日/夜属性,并捕获表征日/夜间物体的注意图;基于注意力图对提取的特征图进行加权;最后根据预测的日/夜属性将加权后的特征图输入对应日/夜间的检测头做位置回归与物体分类。本发明旨在通过注意力机制使网络关注到日/夜间的不同特征,并通过两个分支分别完成日/夜间物体的检测,能够提升日/夜间物体检测的性能,可用于街道智能监控系统。
-
公开(公告)号:CN113255793B
公开(公告)日:2021-11-30
申请号:CN202110607551.4
申请日:2021-06-01
Applicant: 之江实验室
Abstract: 本发明公开了一种基于对比学习的细粒度舰船识别方法,采集并标注舰船分类数据集,并对每张图像采用几种不同的数据增强方式获得图像集合,依次组合成同类与非同类图像集合对,交替输入孪生分类网络进行图像特征提取与分类,通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征,最终实现同类别舰船分类相同,不同类别舰船之间可有效区分的效果。本发明弥补了舰船类别分布不平衡、样本规模较小的实际问题,通过对比学习有效提升了细粒度分类的性能,通过提取等变特征提高了模型的泛化性,能适用于实战多变场景。
-
公开(公告)号:CN112990371A
公开(公告)日:2021-06-18
申请号:CN202110459160.2
申请日:2021-04-27
Applicant: 之江实验室
Abstract: 本发明属于计算机视觉识别技术领域,涉及一种基于特征扩增的无监督夜间图像分类方法。采用具有白天图像分类标签的公开数据集训练分类网络,经分类网络提取输入图像的特征向量,并计算各类别的特征均值与协方差矩阵;将无标签的夜间图像输入分类网络获得该图像的伪标签,根据伪标签计算夜间图像各类别在特征空间的特征均值与协方差矩阵;对同类别的白天、夜间图像获取的协方差矩阵进行加权平均获得最终协方差矩阵;根据各类别夜间图像特征均值和加权平均后的协方差矩阵进行特征采样;将采样的特征值与原有特征值共同重新训练分类网络。本发明通过学习有标签的白天图像的特征分布,在特征层面对夜间数据进行扩增,从而实现对夜间图像的无监督分类。
-
公开(公告)号:CN111860471A
公开(公告)日:2020-10-30
申请号:CN202010993035.5
申请日:2020-09-21
Applicant: 之江实验室
Abstract: 本发明公开了一种基于特征检索的工服穿戴识别方法及系统,该方法包括特征检索库构建、行人检测、工服特征提取、工服检索识别四个步骤。人工选取不同类别工服中具有代表性的图像集,通过分类网络提取工服特征,构建特征检索库;将待测图像输入行人检测网络得到行人区域,裁剪图像中行人所在区域输入分类网络提取工服特征;将工服特征作为检索对象输入特征检索库,计算该对象与库中各特征的距离,最终输出该对象是否穿戴工服以及所穿工服的类别。本发明可通过简单的重建特征检索库实现对工服类别的灵活增减,有效避免重新训练模型的巨大成本,可用于工厂车间工服穿戴识别及警报系统。
-
公开(公告)号:CN111723786A
公开(公告)日:2020-09-29
申请号:CN202010851025.8
申请日:2020-08-21
Applicant: 之江实验室
Abstract: 本发明公开了一种基于单模型预测的安全帽佩戴检测方法及装置,该方法包括将原始图像输入到一个深度卷积神经网络中,在深度卷积神经网络的不同层中提取出原始图像的表观特征,并采用特征金字塔网络在表观特征上获取不同尺度的特征图;将不同尺度的特征图分别输入到坐标回归网络和行人识别网络中,分别输出在原始图像中检测到的行人目标的位置和识别的置信度,通过非极大值抑制方法找到最佳的目标边界框,并消除冗余的边界框;将不同尺度的特征图输入到基于注意力机制的安全帽佩戴分类网络中,最终得到行人目标是否佩戴安全帽的检测结果。通过单个模型来对监控摄像头拍摄的厂区、工地等作业场所中工作人员是否佩戴安全帽的精准识别。
-
公开(公告)号:CN114972976B
公开(公告)日:2022-12-20
申请号:CN202210902801.1
申请日:2022-07-29
Applicant: 之江实验室
Abstract: 本发明公开了基于频域自注意力机制的夜间目标检测、训练方法及装置,采用具有夜间图像检测标签的开源数据集训练检测网络,首先将输入图像进行预处理,使其从RGB转化为YUV通道,分别将三个通道的图像划分成多个区块;对于三个通道的各个区块,分别进行DCT离散余弦变换;将各个区块中属于同一频域的信息依据其原本的空间关系存入同一通道中,生成数个代表不同频域的通道;将所有频域通道输入自注意力网络模块,该模块通过计算各通道之间的可缩放点积自注意力,输出每个通道动态加权后的数值,再将其分别输入相同的多层感知器MLP;将输出结果输入检测网络中,最终获得图像的检测结果。
-
公开(公告)号:CN115331732A
公开(公告)日:2022-11-11
申请号:CN202211238697.7
申请日:2022-10-11
Applicant: 之江实验室
Abstract: 本发明公开了基于图神经网络的基因表型训练、预测方法及装置,根据现有公开的基因位点与表型的相关性,构建图神经网络:节点代表基因位点,边代表两个基因位点同时与某个表型相关,且边的权重代表基因位点之间的关联程度;采集样本的基因数据,并收集各个样本对应的表型数据;训练过程中,对输入的基因数据基于其位点探测概率值进行编码;将编码数据输入构建的图神经网络;采用均匀采样进行节点邻域选择,并通过邻域节点的权重与卷积核参数更新各个节点;将每个节点的输出结果进行拼接,并将其输入多层感知器,输出表型分类结果;将分类结果与真值进行比较,训练与验证图神经网络;再将待分类的基因数据输入训练好的图神经网络进行表型分类。
-
公开(公告)号:CN113657561B
公开(公告)日:2022-03-18
申请号:CN202111220897.5
申请日:2021-10-20
Applicant: 之江实验室
IPC: G06K9/62 , G06V10/764 , G06V10/774 , G06N3/08
Abstract: 本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法,将白天带标签的样本与夜间无标签的样本,一同输入特征提取网络,其中白天样本提取的特征向量输入分类网络头,采用交叉熵损失函数进行监督;夜间样本提取的特征向量,首先输入分类网络头获得伪标签,再根据伪标签构造正负样本对后输入自监督网络头,采用角度对比损失函数进行监督训练;完成模型多任务训练后,将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头,进行迭代自蒸馏学习,最终实现夜间数据集可以有效分类的效果。
-
公开(公告)号:CN114067294A
公开(公告)日:2022-02-18
申请号:CN202210052681.0
申请日:2022-01-18
Applicant: 之江实验室
IPC: G06V20/58 , G06V20/62 , G06V10/40 , G06V10/74 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于文本特征融合的细粒度车辆识别系统及方法,系统包括:特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块;方法包括:步骤S1,构建细粒度车辆图像分类数据集;步骤S2,将训练图像进行特征提取;步骤S3,对图像特征向量进行分类;步骤S4,将数据集各子类标签输入预先训练好的文本表示网络;步骤S5,通过图像特征向量与图像标签的词向量;将得到的强化标签分布与原标签向量进行加权融合;步骤S6,将预测标签分布与加权融合的标签分布的相似度作为损失,指导整个系统的训练;步骤S7,推理阶段,将待测图像进行特征提取与分类层,根据预测的标签分布确定图像类别。
-
公开(公告)号:CN112257683A
公开(公告)日:2021-01-22
申请号:CN202011417659.9
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种面向车辆运行轨迹监测的跨镜追踪方法,该方法包括采用生成对抗网络扩充车辆视频数据集,并在扩充后的数据集上训练基于轻量化卷积神经网络的车辆检测模型;将车辆检测模型部署到所有摄像头上,并创建摄像头间的位置关联字典;采用车辆检测模型提取摄像头中拍摄到的车辆的表观特征及在镜头内的连续位置,根据车辆的移动方向预测出车辆可能出现的下一组摄像头;将车辆的表观特征广播至下一组摄像头中,并根据表观特征在下一组摄像头中对车辆进行追踪,最终完成车辆的跨镜追踪。本发明所采用的跨镜追踪方法,能够实现对车辆的运行轨迹进行实时监测,当发现被监测车辆脱离预设路线时发出预警,可以协助监管人员快速排查被监测车辆。
-
-
-
-
-
-
-
-
-