公开(公告)号：CN112801162A

公开(公告)日：2021-05-14

申请号：CN202110088346.1

申请日：2021-01-22

Applicant: 之江实验室

Inventor： 程乐超 ,  冯尊磊 ,  单海军 ,  宋明黎

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于图像属性先验的自适应软标签正则化方法，包括如下步骤：S1，通过神经网络中间特征层聚合构建图像的属性表达；S2，利用重参数化方法对属性概率先验进行软采样；S3，利用现有真值标签对采样软标签进行修正和截断；S4，多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力，在利用少量参数的情况下，有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题，有效的提升图像分类的准确性。本发明实现方法简单，手段灵活，可以比较容易地应用到一般性图像分类任务中。

公开(公告)号：CN114821099B

公开(公告)日：2025-04-22

申请号：CN202210370621.3

申请日：2022-04-10

Applicant: 复旦大学 ,  之江实验室

Inventor： 金城 ,  张子墨 ,  吴渊 ,  程乐超

IPC: G06V10/44 ,  G06V10/82 ,  G06V10/766 ,  G06V40/10 ,  G06N3/0455

Abstract: 本发明属于计算机视觉领域，具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息；多视角Transformer特征交换模块，将不同视角的时空域特征信息两两交换，然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系，在不同视角间充分进行特征交换和传输，提高了3D姿态估计结果的准确度。

公开(公告)号：CN118397435A

公开(公告)日：2024-07-26

申请号：CN202410839719.8

申请日：2024-06-26

Applicant: 之江实验室

Inventor： 叶玥 ,  程乐超

IPC: G06V10/96 ,  G06V10/82 ,  G06V10/74 ,  G06V10/25 ,  G06V10/764 ,  G06V20/70 ,  G06N3/045

Abstract: 本说明书公开了基于图像识别模型的任务执行方法、装置、介质及设备，终端设备将样本图像输入到初始图像识别模型中，得到样本图像对应的表征感兴趣区域的类别激活映射图，而后通过初始图像识别模型中包含的各网络层对应的亲和矩阵对类别激活映射图进行补偿，进而确定样本图像中各像素点对应的相关性权重矩阵，从而确定出样本图像中各像素点对对应的相关性标签，根据各像素点对对应的相关性标签，调整各网络层对应的亲和矩阵，并通过调整后的图像识别模型执行任务。通过增强了调整后图像识别模型中亲和矩阵对于类别激活映射图的补偿程度，使得调整后的图像识别模型在执行任务过程中具备更强的识别精度，提高了图像识别任务的执行效率。

公开(公告)号：CN113538581B

公开(公告)日：2024-03-12

申请号：CN202110811915.0

申请日：2021-07-19

Applicant: 之江实验室 ,  复旦大学

Inventor： 吴渊 ,  郑泉石 ,  金城 ,  程乐超

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/62 ,  G06V10/82 ,  G06T19/00 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明属于计算机视觉技术领域，具体为一种基于图注意力时空卷积的3D姿态估计方法。该3D姿态估计方法基于按照处理流程先后顺序分为前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块、后处理模块4部分的系统完成。前处理模块初步提取时域信息，然后通过切割图注意力时空卷积模块、补全图注意力时空卷积模块进一步提取时空域信息。本发明能充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息，同时能建立骨架序列时域上的长时依赖，提高了3D姿态估计的精确度。并且不需要原始视频帧的信息，减少计算量。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

公开(公告)号：CN113537072B

公开(公告)日：2024-03-12

申请号：CN202110811913.1

申请日：2021-07-19

Applicant: 之江实验室 ,  复旦大学

Inventor： 吴渊 ,  郑泉石 ,  金城 ,  程乐超

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/46 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/098

Abstract: 本发明属于计算机视觉技术领域，具体为一种基于参数硬共享的姿态估计与人体解析联合学习系统。该系统分为多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分。输入图像首先经过多尺度特征提取模块得到不同尺度下的图像特征，并进行跨尺度的特征融合；再将各尺度的特征分别送入联合学习模块，得到姿态估计与人体解析的联合特征；最后将姿态估计与人体解析的联合特征分别送入姿态估计分支和人体解析分支中得到姿态估计与人体解析的结果。本发明提出了用于姿态估计与人体解析的多任务联合学习系统。本发明所提系统在姿态估计与人体解析任务上的表现优秀。

公开(公告)号：CN117407690A

公开(公告)日：2024-01-16

申请号：CN202311722260.5

申请日：2023-12-14

Applicant: 之江实验室

Inventor： 程乐超

IPC: G06F18/21 ,  G06F18/213 ,  G06F18/214 ,  G06N3/045 ,  G06N3/096

Abstract: 本说明书公开了一种基于模型迁移性评估的任务执行方法、装置及设备。所述方法包括：接收针对待评估模型的迁移性能的评估指令，并确定待评估模型对应的初始参数；获取目标业务场景下的目标数据以及对待评估模型进行预训练时所使用的源样本数据；将目标数据以及源样本数据分别输入待评估模型，基于初始参数，根据目标数据确定待评估模型的特征提取网络对应的主梯度期望值，作为第一主梯度期望值，以及，根据源样本数据确定特征提取网络对应的主梯度期望值，作为第二主梯度期望值；根据第一主梯度期望值以及第二主梯度期望值，确定待评估模型对应迁移性能的评估值，并根据评估值执行任务。

公开(公告)号：CN115908955A

公开(公告)日：2023-04-04

申请号：CN202310202396.7

申请日：2023-03-06

Applicant: 之江实验室

Inventor： 苏慧 ,  鲍虎军 ,  杨非 ,  程乐超 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/778 ,  G06V40/10

Abstract: 本发明公开了基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置，通过构建鸟类图像分类数据集；在训练阶段，从鸟类图像分类数据集抽取支撑集s和预测集q，经教师网络后，分别输出的特征向量进行匹配，得到预测集q的类别预测结果，并利用所述预测结果与预测集q的类别真值构建教师网络交叉熵损失函数，训练教师网络；获取鸟类图像经过教师网络、学生网络各个网络层的特征，并利用各层特征的和，作为损失值反向传播，得到输入的鸟类图像基于损失值的梯度信息，构建梯度损失函数，使教师网络和学生网络输入的鸟类图像的梯度信息相匹配；梯度损失函数叠加学生网络交叉熵损失函数，训练学生网络，用于鸟类图像分类。

公开(公告)号：CN115424724A

公开(公告)日：2022-12-02

申请号：CN202211375015.7

申请日：2022-11-04

Applicant: 之江实验室

Inventor： 胡丹青 ,  程乐超

IPC: G16H50/20 ,  G06T7/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多模态图森林的肺癌淋巴结转移辅助诊断系统，包括：CT深度特征获取模块：获取CT深度特征；多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；异构图森林构建模块：构建异构图森林；淋巴转移诊断结果模块：获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。本发明可有效考虑不同种类特征之间的相关关系，提取的深度特征在预测淋巴结转移时有更好的泛化能力。

公开(公告)号：CN114882325B

公开(公告)日：2022-12-02

申请号：CN202210812617.8

申请日：2022-07-12

Applicant: 之江实验室

Inventor： 程乐超 ,  李冠彬 ,  王阔

IPC: G06V10/774 ,  G06V10/778 ,  G06V20/70

Abstract: 本发明公开了基于二阶段物体检测器的半监督物检测及训练方法、装置，在半监督物体检测中，IoU匹配在训练阶段起到了筛选候选框和标注候选框的作用。由于伪标签无法囊括所有的前景物体，导致筛选候选框时，仅能选取到较为简单的前景物体。被错误分类为背景的前景物体，难以参与到训练中。此外，由于伪标签也存在着错误，导致IoU匹配对候选框进行错误标注，而错误的伪标签，将导致所有与其重合度较高的候选框产生标注错误问题。本发明通过构建合理选择机制和动态阈值化机制，分别解决了IoU匹配中的筛选和错误标注问题。本发明实现方法简便，手段灵活，在匹配方面具有优势，因此提升了半监督物体检测的效果。

公开(公告)号：CN115169562A

公开(公告)日：2022-10-11

申请号：CN202210630632.0

申请日：2022-06-06

Applicant: 之江实验室 ,  西安电子科技大学

Inventor： 高海昌 ,  张宇鸿 ,  常国沁 ,  姚舟 ,  程乐超

IPC: G06N5/04 ,  G06K9/62 ,  G06N20/00

Abstract: 本发明公开了一种基于多攻击模型的成员推理攻击方法，包括：步骤一、训练成员推理目标模型，步骤二、建立影子模型数据集D*；步骤三、建立多个影子数据集子数据集步骤四、训练多个成员推理影子模型步骤五、生成多个攻击模型数据集子数据集D′1、D′2、…、D′N；步骤六、训练多个成员推理攻击模型步骤七、生成攻击模型测试数据集子数据集D″；步骤八、计算每个攻击模型的权重，构建成员推理攻击判决式，进行成员推理攻击。本发明解决了现有技术中存在的成员推理攻击效果不稳定和攻击精度不高的技术问题。