公开(公告)号：CN116186328A

公开(公告)日：2023-05-30

申请号：CN202310012387.1

申请日：2023-01-05

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  项宇涵 ,  林贤明

IPC: G06F16/783 ,  G06V10/40 ,  G06V10/762 ,  G06V10/774

Abstract: 一种基于预聚类引导的视频文本跨模态检索方法，涉及视频文本跨模态检索。针对无标注数据集上，无监督训练视频文本跨模态检索模型时，存在样本对构建不合理而导致监督信息弱的问题：1)提取训练数据集的视频、文本原始特征；2)拼接时间对齐的归一化原始特征作为统一特征，设定一组阈值多次DBSCAN聚类产生多组聚类簇；3)每个聚类簇的视频、文本特征分别计算均值作为聚类中心；4)采样一批训练样本，对于每组聚类中心，视频、文本分别寻找距离最近的中心构建伪标签，构建视频文本正样本对；5)将原始特征投影至共同空间，以多组中心对应的正样本计算损失加权组合，反向传播更新投影模型；6)重复4)～5)至达到预定的训练轮数。

公开(公告)号：CN115984649A

公开(公告)日：2023-04-18

申请号：CN202310016366.7

申请日：2023-01-06

Applicant: 厦门大学

Inventor： 林贤明 ,  席山涵 ,  纪荣嵘

IPC: G06V10/774 ,  G06V10/26

Abstract: 基于图像低级外观信息和高级语义信息结合的候选区域生成方法，涉及无监督情况下开放类别候选区域的生成。1)采用候选区域生成器对图像进行初始的候选区域生成；2)利用基于对比的文本‑图像预训练模型对初始候选区域进行视觉特征的提取、对数据集的类别名称进行文本特征的提取，计算二者之间的余弦相似度和相似熵；3)对初始候选区域进行超像素分割，计算候选区域对应的超像素跨越分数；4)结合初始分数、相似熵和超像素跨越分数选择候选区域作为伪标签，以超像素跨越分数和余弦相似度为损失函数的权重，对候选区域中的正样本框进行坐标回归的训练，得到更高质量的候选区域。即插即用，提高生成的候选区域的精确率，具有良好的泛化性。

公开(公告)号：CN115906994A

公开(公告)日：2023-04-04

申请号：CN202310012390.3

申请日：2023-01-05

Applicant: 厦门大学

Inventor： 林贤明 ,  刘兴彬 ,  纪荣嵘

IPC: G06N3/082 ,  G06F18/241 ,  G06F18/22

Abstract: 一种基于潜层特征相似度的对抗训练方法，涉及神经网络训练。针对正常样本和对抗样本潜层特征关系的差异性，提出一种基于约束正常样本和对抗样本潜层特征相似度的对抗训练方法。包括以下步骤：步骤一：挑选一批样本xclean，通过迭代攻击算法T步，得到对抗样本xadv。步骤二：将纯净样本和对抗样本同时输入到神经网络中；用LFRC正则和普通的对抗训练算法来计算梯度，对神经网络的参数θ进行更新。步骤三：整个数据集是否训练完毕，否则跳回步骤一。步骤四：神经网络是否收敛，若不收敛，跳回步骤一。否则输出神经网络fθ。训练结束后，便得到一个具有对抗鲁棒性的神经网络。

公开(公告)号：CN115861618A

公开(公告)日：2023-03-28

申请号：CN202211631302.X

申请日：2022-12-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  郭天宇 ,  王昊为 ,  纪家沂

IPC: G06V10/26 ,  G06V10/82 ,  G06V10/52 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895

Abstract: 一种端到端的全景叙事分割的单阶段方法，涉及全景叙事分割。包括步骤:1)用卷积神经网络对图像特征进行多尺度提取并且融合；利用基于变换器的双向编码器表示技术提取文本中的每个词向量,并且利用数据集注释过滤掉非名词部分的词向量，同时对于多个词向量同时对应一个名词的情况，采用取平均值的方法作为当前名词所对应的特征；2)将局部空间先验嵌入到注意力建模中，增强不同尺度的视觉特征，从而提高分割效果；3)用步骤2)提取的文本特征做卷积核，在得到的特征图上做卷积得到掩码M；使用一个双向对比学习损失规范模态间的语义一致性；同时加上其它的损失函数来使得预测掩码的数值和分布接近真实掩码。

公开(公告)号：CN115049055A

公开(公告)日：2022-09-13

申请号：CN202210761410.2

申请日：2022-06-29

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山 ,  林明宝

IPC: G06N3/08 ,  G06N3/04

Abstract: 基于动态双可训练界限的超分神经网络的量化方法，涉及人工神经网络的压缩与加速。1)统计超分神经网络每一层激活值的最大值分布和最小值分布；2)选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界的、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器；3)对网络权重应用非对称的上界和下界的量化器；4)使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；5)训练结束保留量化网络权重，即得量化后的量化网络。

公开(公告)号：CN111523586B

公开(公告)日：2022-09-06

申请号：CN202010300928.7

申请日：2020-04-16

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  沈云航

IPC: G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发涉及一种基于噪声可知的全网络监督目标检测方法，其明通过构建包含主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络的网络模型，使其形成双分支网络结构；并且通过空间敏感熵标准来估算网络图片标签的置信度，然后根据估算的置信度来使用不同分支来训练模型，从而有效分解噪声，提高目标检测的准确率，而且对于包含错误前景标签的图片训练集，本发明的包混淆策略也能够减低出现前景噪声标签的概率，从而降低训练数据的标注成本，提高了数据的利用率。

公开(公告)号：CN114444690A

公开(公告)日：2022-05-06

申请号：CN202210100372.6

申请日：2022-01-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林贤明 ,  方姝曼

IPC: G06N3/08 ,  G06N3/04

Abstract: 一种基于任务扩增的迁移攻击方法。对于每张干净样本，迭代地生成对应的对抗样本，在每次迭代的过程中，从数据扩增和模型扩增两个方面构造攻击任务，在数据扩增方面，对图片进行随机调整大小和随机填充，在模型扩增方面，通过随机改变模型的部分结构来实现模型扩增，并且为了不影响模型的预测结果，只修改模型的反向传播过程；构造完攻击任务之后，将任务划分为支持集和查询集两个集合，然后根据元学习的核心观念，先在支持集上生成一个暂时的扰动，然后再在查询集上对这个暂时的扰动进行微调，最终的扰动更新由支持集和查询集上的梯度共同决定。能够让对抗扰动在所构造的任务上充分泛化，不会对单一的图像模式或单一的模型过拟合。

公开(公告)号：CN110598713B

公开(公告)日：2022-05-06

申请号：CN201910722270.6

申请日：2019-08-06

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  陈福海 ,  沈忱

IPC: G06V10/40 ,  G06V10/70 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 基于深度神经网络的智能图像自动描述方法，涉及人工智能领域中的智能图像自动描述。包括以下步骤：1)描述数据预处理；2)抽取图像深度卷积特征和语义信息；3)基于多层级视觉语义嵌入的智能图像自动描述。采用因式分解的注意力机制模块，可解决图像自动描述中没有考虑语义信息层次性以及没有考虑场景信息等问题，可以显式地嵌入场景相关的语义信息，用以指导物体相关的语义信息嵌入和图像特征的嵌入。基于多层级视觉语义嵌入的图像自动描述研究，可方便图像自动描述在工业届中的推广与使用。

公开(公告)号：CN114429209A

公开(公告)日：2022-05-03

申请号：CN202210101357.3

申请日：2022-01-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山

IPC: G06N3/08 ,  G06N3/063 ,  G06N3/04 ,  G06K9/62 ,  G06V10/764 ,  G06V10/82

Abstract: 基于细粒度数据分布对齐的神经网络后训练量化方法，涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数，得每个类别的代表BN参数；2)量化预训练的全精度网络得量化网络；3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环2)～4)至达到预定的训练轮数；6)保留量化网络权重，即得量化后的量化网络。只需少量数据的校准数据集，可从头训练得量化网络，无需特定硬件支持，在通用硬件平台上实现网络压缩与加速。

公开(公告)号：CN112819012B

公开(公告)日：2022-05-03

申请号：CN202110128180.1

申请日：2021-01-29

Applicant: 厦门大学

Inventor： 孙晓帅 ,  纪荣嵘 ,  骆云鹏

IPC: G06V10/46 ,  G06V10/25 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于多源协同特征的图像描述生成方法，涉及多源特征提取、强化和融合，属于人工智能技术领域，包括如下步骤：步骤1，采用目标检测器同时提取图像的网格特征和区域特征；步骤2，利用特征的绝对和相对位置信息，辅助模型进行特征理解和两种特征内部的交互和增强；步骤3，利用特征间的几何对齐关系，让两种特征进行交互增强，交换重要的视觉信息，实现更好的视觉表达。此种方法针对传统基于单源特征的图像描述方法缺少场景和细节信息的局限性，提出多源协同特征提取、融合和增强方法，强化视觉先验，从而提高生成描述的准确性。