公开(公告)号：CN114330580B

公开(公告)日：2025-05-06

申请号：CN202111676330.9

申请日：2021-12-31

Applicant: 之江实验室 ,  厦门大学

Inventor： 严严 ,  姜润青 ,  王菡子 ,  王彪 ,  张吉

IPC: G06F18/2413 ,  G06F18/2415 ,  G06F18/214

Abstract: 本发明公开了基于歧义指导互标签更新的鲁棒知识蒸馏方法，包括：A、构建训练数据集；B、构建教师网络和学生网络；C、通过鲁棒学习方法对教师网络进行训练；D、对数据集中的每个样本进行歧义感知权重估计和权重分配；E、根据小损失标准对数据集中的样本进行标签重新标注，结合教师网络特征的标签传播算法更新标签，再计算损失和更新网络参数；F、在学生网络和教师网络之间进行互标签传播算法，并更新样本标签、计算损失和更新网络参数；G、将测试图像数据导入学生网络，由其得到预测结果且用于图像分类；本方案可以有效地提升知识蒸馏对噪声标签的鲁棒性，从而可以在噪声标签的环境下获取一个高性能的轻量级网络，其更能适用于实际情况。

公开(公告)号：CN119091482A

公开(公告)日：2024-12-06

申请号：CN202411051228.3

申请日：2024-08-01

Applicant: 厦门大学

Inventor： 严严 ,  丁虎 ,  王菡子

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/045 ,  G06N3/096 ,  G06N3/098

Abstract: 本发明公开了联邦学习场景下的人脸表情识别方法，本方案巧妙性通过将全局局部干扰解耦(GLDD)方法用于联邦表情识别，使得模型训练过程中，其局部干扰解耦可以通过自适应考虑干扰对本地客户端的影响，缓解了异构干扰的挑战；同时，全局干扰解耦通过聚合来自全局服务器上的客户端的表情和干扰信息，降低了异构表情数据和异构干扰的影响。

公开(公告)号：CN113903053B

公开(公告)日：2024-06-07

申请号：CN202111129224.9

申请日：2021-09-26

Applicant: 厦门大学

Inventor： 王菡子 ,  张玉康 ,  严严 ,  卢杨

IPC: G06V40/10 ,  G06V10/56 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0895 ,  G06N3/048

Abstract: 基于统一中间模态的跨模态行人重识别方法，涉及计算机视觉技术领域。包括以下步骤：1)将两种模态图像分别输入到两个编码器中进行编码；2)将编码得到的两种特征输入到两个非线性激活函数中用于加深其非线性表达能力；3)将非线性激活后的两种特征输入到一个共享的解码器中，并解码到一个统一的中间图像空间中，得到中间模态图像；4)将得到的中间模态图像与原始图像一起输入到网络中进行优化，完成跨模态行人重识别。可降低模态差异，进一步地拉近两种中间模态图像之间的距离，提升跨模态行人重识别模型的性能。

公开(公告)号：CN117851937A

公开(公告)日：2024-04-09

申请号：CN202410032618.X

申请日：2024-01-09

Applicant: 厦门大学

Inventor： 卢杨 ,  吕凤玲 ,  王菡子

IPC: G06F18/2431 ,  G06F18/25 ,  G06N3/098

Abstract: 本发明公开了一种基于专家协作学习的不平衡数据联邦学习方法，包括：若干个参与方共同训练一全局模型，直至该全局模型收敛；每个参与方下载收敛完成的该全局模型，并利用该全局模型的特征提取器去初始化参与方的若干专家模型；每个参与方根据各自的数据，对专家模型以及全局模型的分类器进行更新；所述专家模型用于针对不同类别的数据进行特征提取、分类，包括头类数据专家模型和尾类数据专家模型；将待测样本输入专家模型以及全局模型等。本发明为每个参与方设置一个头专家和一个尾专家分别针对每个参与方中的头部类和尾部类，这允许每个参与方中的少数类去成为一个专家的主导类，每个专家内部的不平衡程度和参与方的不平衡程度相比，也会有所降低。

公开(公告)号：CN112131991B

公开(公告)日：2024-01-23

申请号：CN202010967054.0

申请日：2020-09-15

Applicant: 厦门大学

Inventor： 王菡子 ,  陈昊升 ,  林舒源

IPC: G06V20/40 ,  G06V10/74 ,  G06T7/246 ,  G06T7/73

Abstract: 内的所有物体的运动轨迹。可用于目标跟踪、运一种基于事件相机的数据关联方法，涉及计 动分割等。算机视觉。将事件相机感应环境中物体运动生成的异步时空视觉事件序列聚合成视觉事件的集合；将时空三维空间在时间维度上切片，在最早和最晚的两个切片上穷举采样，生成对应的直线模型假设集合，选出代表性模型假设集合，对每一个模型假设生成模型假设的内点集合；对代表性模型假设集合内每一个模型假设，计算内点集合在时间轴上的离差，对每个代表性模型假设赋予相应的权重；根据内点集合投影在图像平面生成的视觉事件图像的对比度进一步加权；在权重

公开(公告)号：CN117274409A

公开(公告)日：2023-12-22

申请号：CN202211261936.0

申请日：2022-10-14

Applicant: 腾讯科技(深圳)有限公司 ,  厦门大学

Inventor： 王菡子 ,  马文熙 ,  迪倩姬 ,  祁仲昂 ,  侯天翔 ,  单瀛

IPC: G06T11/00 ,  G06V10/25 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供一种场景图生成方法、装置、设备及存储介质，涉及人工智能技术领域，尤其涉及图像处理技术领域；在本申请中，针对待识别图像，获得用于表征第一目标对象和第二目标对象之间关联关系的初始谓词，第一目标对象和第二目标对象均为待识别图像中的目标对象；基于至少一类参考谓词中每类参考谓词，分别确定与第一目标对象之间的第一上下文关联度、与第二目标对象之间的第二上下文关联度，与初始谓词之间的谓词相似度；基于第一上下文关联度、第二上下文关联度和谓词相似度，在至少一类参考谓词中，选取出目标谓词；基于第一目标对象、第二目标对象和目标谓词，生成场景图。准确确定出用于表征对象之间关联关系的谓词，提升场景图的准确性。

公开(公告)号：CN116843021A

公开(公告)日：2023-10-03

申请号：CN202310452493.1

申请日：2023-04-25

Applicant: 之江实验室 ,  厦门大学

Inventor： 卢杨 ,  吕凤玲 ,  钱品馨 ,  黄刚 ,  华炜 ,  王菡子

IPC: G06N3/098 ,  G06F18/24 ,  G06N5/02

Abstract: 本发明公开了一种基于知识蒸馏特征生成的长尾数据联邦学习方法和系统，在服务器上训练一个轻量级的生成模型。生成模型的输入为标签，输出为对应的特征。生成特征可以模拟真实特征的分布。在个性化模型的训练过程中，为每个客户端上的局部少数类生成更多特征，为其他类生成更少特征，这将有助于缓解每个客户端数据的严重不平衡。此外，全局模型是从局部模型聚合而来的，在全局头类中表现更好，而且能够获得高质量和含有丰富信息的特征。将全局模型的知识提取到个性化模型中可以帮助提高个性化模型的性能。通过生成特征来知识蒸馏来训练个性化模型。这样能够有效解决联邦异构长尾数据分布的问题，进一步提升了个性化联邦学习下的模型性能。

公开(公告)号：CN116071704A

公开(公告)日：2023-05-05

申请号：CN202310110761.1

申请日：2023-02-13

Applicant: 厦门大学

Inventor： 严严 ,  杨丰宏 ,  姜润青 ,  王菡子

IPC: G06V20/52 ,  G06V10/82 ,  G06V10/44 ,  G06V10/26 ,  G06V10/54 ,  G06V10/764 ,  G06V10/766 ,  G06N3/045 ,  G06N3/096 ,  G06N3/09

Abstract: 本发明涉及一种基于双模式网络的多数据集X光安检图像目标检测方法，包括：将Lattice外观增强子网络连接基础特征提取网络形成目标检测网络；通过目标检测网络和K个X光安检图像数据集训练K个目标检测网络的教师模型；构建K个X光安检图像数据集的共同类模式学习网络和独特类模式学习网络；使用训练后的K个目标检测网络的教师模型轮流对目标检测网络的学生模型在共同类模式学习网络和独特类模式学习网络下进行知识蒸馏；利用反向传播算法训练知识蒸馏后的目标检测网络的学生模型；使用训练后的目标检测网络的学生模型对X光安检图像进行目标检测，得到X光安检图像中违禁品的位置及对应类别。可以精准检测违禁品的位置及对应类别，并标记出违禁品。

公开(公告)号：CN115861779A

公开(公告)日：2023-03-28

申请号：CN202211506846.3

申请日：2022-11-29

Applicant: 厦门大学

Inventor： 王菡子 ,  马文熙

IPC: G06V20/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455

Abstract: 一种基于有效特征表示的无偏场景图生成方法，涉及计算机视觉技术。采用特征提取网络和分类网络解耦的训练策略，利用预训练好的骨干网络提取物体的视觉特征；进行目标检测，利用提取到的物体的视觉特征、物体的位置编码以及物体的类别编码两两配对再次组合编码，得到适用于谓词分类的编码特征；通过一个全连接层进行谓词分类；训练特征提取网络，在推理时不采用全连接层形式的分类网络，通过计算每一类谓词的用于谓词分类的编码特征的均值，根据待分类样本的编码特征与每一类谓词特征均值的余弦相似度进行谓词分类。摒弃全连接层分类器，直接基于谓词特征进行分类，可排除全连接层参数易受长尾数据影响的问题，从而提升场景图生成任务的性能。

公开(公告)号：CN112287999B

公开(公告)日：2022-06-14

申请号：CN202011166826.7

申请日：2020-10-27

Applicant: 厦门大学

Inventor： 王菡子 ,  程林 ,  张辽 ,  梁艳杰

IPC: G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 利用卷积神经网络矫正梯度的弱监督目标定位方法，涉及计算机视觉技术领域。在给定的只包含类别标签的数据集上训练好一个用于分类功能的卷积神经网络，先对网络进行正向传递，然后指定待定位的目标的类别，进行卷积神经网络矫正梯度的反向传递，即从输出层向输入层逐层反向传递梯度，并且进行相应的矫正操作。卷积神经网络矫正梯度的反向传递包含对网络中全连接层、卷积层等传递的梯度进行了矫正。生成的热图中目标轮廓清晰，获取的定位精度高，同时能够区分不同类别的目标，定位的区域含有较少无关背景。对含有负值特征的模型具有鲁棒性。