公开(公告)号：CN115995018A

公开(公告)日：2023-04-21

申请号：CN202211579446.5

申请日：2022-12-09

Applicant: 厦门大学

Inventor： 黄洪艺 ,  郑珊珊 ,  曲延云 ,  张亚超

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/096

Abstract: 基于样本感知蒸馏的长尾分布视觉分类方法，涉及图像处理、目标检测领域。建立长尾分布数据集，对输入图片预处理，训练教师网络模型和学生网络模型，计算交叉熵损失和特征中心稳定学习损失，利用选择性知识蒸馏模块计算选择性知识蒸馏损失；三种损失对学生网络模型优化训练。提出特征中心稳定学习模块：计算得到全局性类间特征中心，利用全局特征中心的类间关系将局部特征中心优化，丰富尾部类数据特征的丰富性和表达能力，利用优化得到的局部特征中心对样本分类；提出选择性知识蒸馏模块：根据教师模型与学生模型的知识正确性及置信度有侧重性地将教师模型的知识蒸馏给学生。可用于长尾图像分类、目标检测等。

公开(公告)号：CN114187446A

公开(公告)日：2022-03-15

申请号：CN202111496286.3

申请日：2021-12-09

Applicant: 厦门大学

Inventor： 曲延云 ,  蓝宇翔 ,  张亚超

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06K9/62

Abstract: 一种跨场景对比学习的弱监督点云语义分割方法，涉及三维点云处理领域。1)对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；2)利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；4)迭代地进行步骤2)和3)，直至模型收敛。在要求不同场景点云相同类别的类别原型具有紧凑性的同时要求不同类别的类别原型之间具有分散性。不需要精心设计数据增加方法，有效降低噪声伪标签对于模型性能的影响。可用于自动驾驶，增强现实设备等。

公开(公告)号：CN114187446B

公开(公告)日：2024-09-06

申请号：CN202111496286.3

申请日：2021-12-09

Applicant: 厦门大学

Inventor： 曲延云 ,  蓝宇翔 ,  张亚超

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/774

Abstract: 一种跨场景对比学习的弱监督点云语义分割方法，涉及三维点云处理领域。1)对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；2)利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；4)迭代地进行步骤2)和3)，直至模型收敛。在要求不同场景点云相同类别的类别原型具有紧凑性的同时要求不同类别的类别原型之间具有分散性。不需要精心设计数据增加方法，有效降低噪声伪标签对于模型性能的影响。可用于自动驾驶，增强现实设备等。

公开(公告)号：CN116109898A

公开(公告)日：2023-05-12

申请号：CN202211579458.8

申请日：2022-12-09

Applicant: 厦门大学

Inventor： 曲延云 ,  李晓凡 ,  张亚超 ,  边诗然

IPC: G06V10/82 ,  G06V10/20 ,  G06V10/40 ,  G06V10/764 ,  G06N3/0475 ,  G06N3/094

Abstract: 基于双向对抗训练与关系度量约束的广义零样本学习方法，涉及图像处理领域。1)建立零样本学习的数据集；2)使用预训练好的神经网络提取可见类图像的视觉特征，并对视觉特征进行预处理；3)使用步骤2)提取的视觉特征通过双向对抗训练特征生成网络和属性生成网络，属性生成网络的训练过程同时加入关系度量约束；4)使用特征生成网络来合成不可见类的视觉特征，将可见类和不可见类的视觉特征通过属性生成网络进行微调，使用微调后视觉特征通过交叉熵损失训练分类器。对视觉特征进一步的微调使得视觉特征与语义属性之间由更紧密的联系。基于类间关系的度量学习方式，有效提升特征可判别性的同时提升模型在不可见类缺失情况下的泛化性。