公开(公告)号：CN114022727B

公开(公告)日：2024-04-26

申请号：CN202111221950.3

申请日：2021-10-20

Applicant: 之江实验室

Inventor： 张逸 ,  王军 ,  徐晓刚 ,  何鹏飞 ,  虞舒敏 ,  徐凯

IPC: G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了本发明公开一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，该方法首先针对目标网络设置辅助网络，在目标网络的下采样层引出分支，采用知识回顾的思路依次融合和连接各个分支，在训练过程中，通过监督学习以及采用目标网络的下采样层向引出分支层进行学习的方式，达到自蒸馏的目的。本发明在深度卷积神经网络自蒸馏领域引入知识回顾的思路，提高了深度卷积神经网络的训练精度；采用辅助网络的形式进行自蒸馏，相对使用数据增强来拉进类内距离的自蒸馏方法，在实际应用中更加简洁方便。

公开(公告)号：CN117830422A

公开(公告)日：2024-04-05

申请号：CN202311729942.9

申请日：2023-12-15

Applicant: 之江实验室

Inventor： 龙宇轩 ,  孙立剑 ,  虞舒敏

IPC: G06T7/80

Abstract: 本发明公开了一种基于多Aruco码的多相机外参标定方法和系统，包括以下步骤：布置多个Aruco码并拍摄多相机图像；识别每张图像中Aruco码的ID并提取每个Aruco码的二维角点坐标；根据Aruco码的二维角点坐标求得Aruco码的相对位姿；构建Aruco码位姿关系图，计算Aruco码的本地坐标系到世界坐标系的变换矩阵得到初始化的Aruco码绝对位姿；构建相机位姿关系图，计算世界坐标系到相机的相机坐标系的变换矩阵得到初始化的相机绝对位姿；通过最小化重投影误差对所有绝对位姿进行全局优化得到最优相机外参。本发明方法能够实现低人工成本、低时间成本和精准的相机外参标定，适用于多相系统外参标定场景。

公开(公告)号：CN117314755A

公开(公告)日：2023-12-29

申请号：CN202311605122.9

申请日：2023-11-29

Applicant: 之江实验室 ,  中国科学院东北地理与农业生态研究所

Inventor： 孙立剑 ,  徐晓刚 ,  冯献忠 ,  王军 ,  虞舒敏 ,  高金珊 ,  曹卫强

IPC: G06T3/40 ,  G06T5/00 ,  G06T7/00 ,  G06V20/70 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/0895

Abstract: 本发明公开了一种基于跨模态图像生成的多视角植株生成方法和装置，属于农业方面的图像处理领域，包括：采集植株图像并标注文本信息；基于图像和文本对文本图像映射模型进行训练微调并冻结，得到图像和文本的内嵌向量；基于图像和文本的内嵌向量，构建基于扩散模型的包含文本图像先验模块和图像编码器模块的图像生成模型并训练；实际推理阶段根据基因型‑表型预测模型得到的目标植株表型数据，引导图像生成模型生成多视角小图，并输入图像超分辨模块得到高分辨率的目标植株图像。本发明采用扩散模型构建图像生成模型和图像超分辨模块，能够实现生成效率高、可扩展性强且生成图像质量高的植株表型数据可视化图像预测，为可视育种提供支撑。

公开(公告)号：CN114998999B

公开(公告)日：2022-12-06

申请号：CN202210856428.0

申请日：2022-07-21

Applicant: 之江实验室 ,  浙江工商大学

Inventor： 张文广 ,  徐晓刚 ,  虞舒敏 ,  曹卫强

IPC: G06V40/20 ,  G06V20/52 ,  G06V10/22 ,  G06V10/75 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置，方法包括：步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹。本发明具有耗时低，且对同类目标的遮挡问题鲁棒性较好的优点。

公开(公告)号：CN114757832B

公开(公告)日：2022-09-30

申请号：CN202210663897.0

申请日：2022-06-14

Applicant: 之江实验室

Inventor： 孙立剑 ,  曹卫强 ,  王军 ,  徐晓刚 ,  虞舒敏

IPC: G06T3/40 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于交叉卷积注意力对抗学习的人脸超分辨方法和装置，该方法将原始低分辨率图像输入人脸超分辨生成网络，经过卷积层、若干个全局残差通道注意力单元、粗上采样模块、两批局部残差通道注意力单元、精上采样模块，得到目标分辨率图像，再通过索贝尔算子获得边缘信息，通过低倍率降采样处理并反馈到主网络中进一步提高超分辨效果，利用小波变换将目标分辨率图像、真值图像和其他通过数据增强方式得到的图像进行分解，每个图像分解成一个低频信息、两个中频信息和一个高频信息，然后去掉低频信息，融合中频和高频信息，将其送到对抗网络进行判别，最后引入数据增强方法，以产生多个正负样本进行对抗网络与人脸超分辨网络的迭代优化。

公开(公告)号：CN113379606A

公开(公告)日：2021-09-10

申请号：CN202110934749.3

申请日：2021-08-16

Applicant: 之江实验室

Inventor： 孙立剑 ,  王军 ,  徐晓刚 ,  曹卫强 ,  朱岳江 ,  虞舒敏

IPC: G06T3/40 ,  G06T5/00 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明属于计算机视觉、图像处理领域，涉及一种基于预训练生成模型的人脸超分辨方法，包括：步骤一、采集并将低分辨率图像输入至特征提取模块，提取特征信息；步骤二、将特征信息输入至编码器，得到通道数为输入尺寸8倍的隐式矩阵，隐式矩阵通过分离模块特征分解后获得隐式向量，与人脸标签数据通过级联方式，分别输入至预训练生成模型中，得到生成特征；步骤三、将生成特征传递给解码器，并融合特征提取模块提取的特征信息，经解码操作后输出目标高分辨率图像。本发明可以将低分辨率的人脸进行高倍率的放大，最高可以获得64倍的超分结果，并且超分辨结果保持较好的保真性，使放大的图像在保真度和纹理真实度方面有更好的改进。

公开(公告)号：CN117174161A

公开(公告)日：2023-12-05

申请号：CN202311078766.7

申请日：2023-08-25

Applicant: 之江实验室 ,  中国水稻研究所

Inventor： 吴翠玲 ,  王军 ,  虞舒敏 ,  魏兴华 ,  杨窑龙 ,  章孟臣 ,  冯跃 ,  曹卫强 ,  韩强 ,  何鹏飞

IPC: G16B5/00 ,  G16B30/00 ,  G06F17/14 ,  G16B20/30 ,  G16B40/00

Abstract: 本发明公开了一种基于频域变换增强的表型预测方法，包括：获取不同作物植株的基因数据和表型数据并对其进行预处理；对预处理后的基因数据进行数值映射；对数值映射后的基因序列进行离散傅里叶变换，判断每个窗口是否为蛋白质编码区，并根据判断结果对蛋白质编码区进行特征增强；将特征增强后的基因序列进行处理，采用低频特征、高频去噪后的特征、小波逆变换后的低频特征以及作为标签的预处理后的表型数据对三流网络进行优化训练；将待检测基因序列的特征输入到训练好的三流网络中，输出表型预测结果。本发明还公开了一种基于频域变换增强的表型预测装置。本发明利用基因编码区的先验提高表型预测效果，实现时频上的基因到表型的非线性关系。

公开(公告)号：CN115861771A

公开(公告)日：2023-03-28

申请号：CN202310122939.4

申请日：2023-02-16

Applicant: 之江实验室 ,  浙江工商大学

Inventor： 唐乾坤 ,  王军 ,  徐晓刚 ,  虞舒敏 ,  何鹏飞

IPC: G06V10/82 ,  G06V10/764 ,  G06V20/70 ,  G06N3/08

Abstract: 本发明公开了一种用于图像识别的关键知识蒸馏方法、装置，通过构建图像训练集和测试集；构建第一图像识别神经网络及其训练方式，作为第一模型，并采用图像训练集进行训练；构建第二图像识别神经网络及其训练方式，作为第二模型；从第一模型和第二模型中选定进行知识蒸馏的特征层；采用图像训练集，对第二模型进行训练，在训练过程中，用语义重要性度量法，计算第二模型选定特征层的特征图与第一模型选定特征层的特征图之间语义的重要性，将重要性大的知识作为关键知识并分配大的权重值，将权重值加入特征层知识蒸馏损失函数中，联合图像识别任务相关的损失函数训练第二模型，将训练好的第二模型部署至运行设备，对测试集中待识别图像进行识别。

公开(公告)号：CN115331732B

公开(公告)日：2023-03-28

申请号：CN202211238697.7

申请日：2022-10-11

Applicant: 之江实验室

Inventor： 章依依 ,  吴翠玲 ,  徐晓刚 ,  李萧缘 ,  虞舒敏 ,  王军

IPC: G16B20/30 ,  G16B40/00 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了基于图神经网络的基因表型训练、预测方法及装置，根据现有公开的基因位点与表型的相关性，构建图神经网络：节点代表基因位点，边代表两个基因位点同时与某个表型相关，且边的权重代表基因位点之间的关联程度；采集样本的基因数据，并收集各个样本对应的表型数据；训练过程中，对输入的基因数据基于其位点探测概率值进行编码；将编码数据输入构建的图神经网络；采用均匀采样进行节点邻域选择，并通过邻域节点的权重与卷积核参数更新各个节点；将每个节点的输出结果进行拼接，并将其输入多层感知器，输出表型分类结果；将分类结果与真值进行比较，训练与验证图神经网络；再将待分类的基因数据输入训练好的图神经网络进行表型分类。

公开(公告)号：CN115019215B

公开(公告)日：2022-12-09

申请号：CN202210947014.9

申请日：2022-08-09

Applicant: 之江实验室

Inventor： 魏日令 ,  徐晓刚 ,  王军 ,  马寅星 ,  虞舒敏

IPC: G06V20/17 ,  G06V20/10 ,  G06V10/82 ,  G06V10/764 ,  G06V10/26 ,  G06V10/778

Abstract: 本发明公开一种基于高光谱图像的大豆病虫害识别方法和装置，该方法包括：步骤一，利用无人机搭载的高光谱相机与RGB相机采集高光谱数据集及其对应的RGB数据集；步骤二，对采集的高光谱数据集进行数据增广；步骤三，对RGB图像进行植株区域分割后与对应的高光谱图像进行像素点相乘得到含植株区域的图像，对该图像进行预处理计算出各类别平均光谱特性曲线；步骤四，输入高光谱数据集至大豆病虫害识别网络模型，采用课程学习方式以及各类别平均光谱特性曲线进行模型训练；步骤五，采用训练好的大豆病虫害识别网络模型，对采集输入的高光谱图像进行预测分类，输出最终预测的虫害类别。本发明能有效提高大豆病虫害识别的准确度。