公开(公告)号：CN113379606B

公开(公告)日：2021-12-07

申请号：CN202110934749.3

申请日：2021-08-16

Applicant: 之江实验室

Inventor： 孙立剑 ,  王军 ,  徐晓刚 ,  曹卫强 ,  朱岳江 ,  虞舒敏

IPC: G06T3/40 ,  G06T5/00 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明属于计算机视觉、图像处理领域，涉及一种基于预训练生成模型的人脸超分辨方法，包括：步骤一、采集并将低分辨率图像输入至特征提取模块，提取特征信息；步骤二、将特征信息输入至编码器，得到通道数为输入尺寸8倍的隐式矩阵，隐式矩阵通过分离模块特征分解后获得隐式向量，与人脸标签数据通过级联方式，分别输入至预训练生成模型中，得到生成特征；步骤三、将生成特征传递给解码器，并融合特征提取模块提取的特征信息，经解码操作后输出目标高分辨率图像。本发明可以将低分辨率的人脸进行高倍率的放大，最高可以获得64倍的超分结果，并且超分辨结果保持较好的保真性，使放大的图像在保真度和纹理真实度方面有更好的改进。

公开(公告)号：CN118608686A

公开(公告)日：2024-09-06

申请号：CN202410661661.2

申请日：2024-05-27

Applicant: 之江实验室 ,  中国水稻研究所

Inventor： 龙宇轩 ,  贺菁菁 ,  翁琳 ,  陈颖 ,  章孟臣 ,  赵凤利 ,  谢正超 ,  白盼攀 ,  马寅星 ,  虞舒敏

IPC: G06T17/00 ,  G06T17/20 ,  G06T15/00 ,  G06T15/04 ,  G06V20/64 ,  G06V10/26 ,  G06V10/44 ,  G06V10/75 ,  G06K7/14 ,  G06T7/73 ,  G06T7/80

Abstract: 本发明公开了一种基于多ArUco码的三维重建方法和装置，方法包括以下步骤：相机内参标定；放置一组ArUco码；获取图像数据；初始化相机和ArUco码位姿；初步优化所有位姿；提取并匹配特征点；初步计算稀疏点云；光束法平差全局优化；稠密重建。本发明提出的三维重建方法能恢复物体的真实尺度并自带世界坐标系定义，计算效率高，且所需的采集设备轻便灵活、成本较低。

公开(公告)号：CN117689823A

公开(公告)日：2024-03-12

申请号：CN202410151823.8

申请日：2024-02-02

Applicant: 之江实验室

Inventor： 曹卫强 ,  孙立剑 ,  王军 ,  徐晓刚 ,  冯献忠 ,  龙宇轩 ,  虞舒敏

IPC: G06T17/00

Abstract: 本申请涉及一种基于拼接技术的植株三维模型生成方法和装置。所述方法包括：构建与待建模植株的各个器官对应的各类三维器官模型；获取所述待建模植株的个体信息；基于所述个体信息，将所述三维器官模型进行拼接，得到所述待建模植株的目标三维模型；通过三维器官模型的构建与拼接，解决了传统方法中重建过程耗时长，遮挡严重的问题，提高了植株三维重建的速度和精度。

公开(公告)号：CN116071239A

公开(公告)日：2023-05-05

申请号：CN202310202482.8

申请日：2023-03-06

Applicant: 之江实验室

Inventor： 孙立剑 ,  虞舒敏 ,  王军 ,  徐晓刚 ,  李萧缘

IPC: G06T3/40 ,  G06T5/50 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种基于混合注意力模型的CT图像超分辨方法和装置，该方法包括：步骤一，获取已有的医学CT图像公开数据集和植物的原始高分辨率CT图像；步骤二，对所述植物的原始高分辨率CT图像进行多方式联合的实用退化操作，后构造高低分辨率图像数据对；步骤三，利用已有的医学CT图像公开数据集进行混合注意力模型的训练，训练完成后，继续使用高低分辨率图像数据对进行模型训练调整，得到最终调整好的混合注意力模型；步骤四，利用最终调整好的混合注意力模型，输入植物的低分辨率原始CT图像，输出目标高分辨率图像。本发明适用于农业中的CT图像，针对植物组织丰富的特点，实现植物组织的无损高精度检测和超分辨重建。

公开(公告)号：CN114757832A

公开(公告)日：2022-07-15

申请号：CN202210663897.0

申请日：2022-06-14

Applicant: 之江实验室

Inventor： 孙立剑 ,  曹卫强 ,  王军 ,  徐晓刚 ,  虞舒敏

IPC: G06T3/40 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于交叉卷积注意力对抗学习的人脸超分辨方法和装置，该方法将原始低分辨率图像输入人脸超分辨生成网络，经过卷积层、若干个全局残差通道注意力单元、粗上采样模块、两批局部残差通道注意力单元、精上采样模块，得到目标分辨率图像，再通过索贝尔算子获得边缘信息，通过低倍率降采样处理并反馈到主网络中进一步提高超分辨效果，利用小波变换将目标分辨率图像、真值图像和其他通过数据增强方式得到的图像进行分解，每个图像分解成一个低频信息、两个中频信息和一个高频信息，然后去掉低频信息，融合中频和高频信息，将其送到对抗网络进行判别，最后引入数据增强方法，以产生多个正负样本进行对抗网络与人脸超分辨网络的迭代优化。

公开(公告)号：CN114067294B

公开(公告)日：2022-05-13

申请号：CN202210052681.0

申请日：2022-01-18

Applicant: 之江实验室

Inventor： 章依依 ,  曹卫强 ,  徐晓刚 ,  王军 ,  虞舒敏 ,  应志文

IPC: G06V20/58 ,  G06V20/62 ,  G06V10/40 ,  G06V10/74 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于文本特征融合的细粒度车辆识别系统及方法，系统包括：特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块；方法包括：步骤S1，构建细粒度车辆图像分类数据集；步骤S2，将训练图像进行特征提取；步骤S3，对图像特征向量进行分类；步骤S4，将数据集各子类标签输入预先训练好的文本表示网络；步骤S5，通过图像特征向量与图像标签的词向量；将得到的强化标签分布与原标签向量进行加权融合；步骤S6，将预测标签分布与加权融合的标签分布的相似度作为损失，指导整个系统的训练；步骤S7，推理阶段，将待测图像进行特征提取与分类层，根据预测的标签分布确定图像类别。

公开(公告)号：CN113657561A

公开(公告)日：2021-11-16

申请号：CN202111220897.5

申请日：2021-10-20

Applicant: 之江实验室

Inventor： 章依依 ,  郑影 ,  朱亚光 ,  徐晓刚 ,  王军 ,  虞舒敏

IPC: G06K9/62 ,  G06N3/08

Abstract: 本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法，将白天带标签的样本与夜间无标签的样本，一同输入特征提取网络，其中白天样本提取的特征向量输入分类网络头，采用交叉熵损失函数进行监督；夜间样本提取的特征向量，首先输入分类网络头获得伪标签，再根据伪标签构造正负样本对后输入自监督网络头，采用角度对比损失函数进行监督训练；完成模型多任务训练后，将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头，进行迭代自蒸馏学习，最终实现夜间数据集可以有效分类的效果。

公开(公告)号：CN113436237A

公开(公告)日：2021-09-24

申请号：CN202110987333.8

申请日：2021-08-26

Applicant: 之江实验室

Inventor： 孙立剑 ,  曹卫强 ,  王军 ,  徐晓刚 ,  虞舒敏

IPC: G06T7/33 ,  G06T17/00 ,  G06N3/04

Abstract: 本发明涉及一种基于高斯过程迁移学习的复杂曲面高效测量系统，主要针对形貌随机复杂的2.5D连续曲面，由于训练数据集和测试数据存在的分布上的差异，利用高斯过程在低维隐空间对测试数据进行操作，使其分布逼近训练数据集，该系统包括点云自适应采样模块、曲面配准和稀疏误差重建模块、误差像素化和归一化模块、编码器模块、高斯过程处理模块、解码器模块、解归一化模块、点云空间映射模块，最终将稀疏的点云数据进行增强得到高质量高密度的点云数据。该系统针对接触式形貌测量传感器测量效率较低的问题，通过结合高斯过程和基于深度学习的超分辨技术，完成对稀疏测量数据的高精度加密，具有测量效率高、点云上采样精度高和曲面细节还原性高的优点。