公开(公告)号：CN110377790B

公开(公告)日：2021-08-06

申请号：CN201910530231.6

申请日：2019-06-19

Applicant: 东南大学

Inventor： 张敏灵 ,  吴璇

IPC: G06F16/75 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态私有特征的视频自动标注方法，对视频文件进行预处理和人工标注，并对人工标注结果进行过滤；利用生成对抗网络提取不同模态特征间的共性特征；将原始特征中的共性特征剥离，得到不同模态的私有特征；整合提取的共性特征与模态私有特征组成该视频的新特征，使用多标记算法进行学习，得到视频自动标注分类器；将待标注的视频样本送入分类器，得到分类结果，实现自动标注；对标注结果进行抽检。采用本发明可以训练出用于视频自动标注的分类模型，利用未知标注视频不同模态的私有特征，重新对视频视频特征进行整合，自动完成标注任务，可显著降低人工标注时间与成本。

公开(公告)号：CN111898630A

公开(公告)日：2020-11-06

申请号：CN202010508804.8

申请日：2020-06-06

Applicant: 东南大学

Inventor： 张敏灵 ,  吴敬晗

IPC: G06K9/62

Abstract: 本发明涉及一种面向含噪声标记样本的特征选择方法，该方法对具有歧义标记信息的样本进行特征筛选，以达到数据预处理的目的。该方法包括以下步骤：(1)采用标记置信度的方式表示标记信息，并基于数据原始的含噪标记信息初始化标记置信度；(2)随机选择部分特征，在所选特征上对样本进行聚类学习；(3)根据得到的聚类结果，计算每个聚类中每个标记的标记置信度；(4)选择具有最大标记置信度的标记作为聚类的标记，同时将置信值作为该类标记的权重，得到聚类-标记-权重三元关系，同时更新标记置信度；(5)根据得到的聚类-标记-标记权重三元组，计算特征权重；(6)若标记置信度保持不变，则转到步骤(7)，否则转到步骤(2)；(7)根据特征权重进行特征筛选；(8)结束。

公开(公告)号：CN110414575A

公开(公告)日：2019-11-05

申请号：CN201910622900.2

申请日：2019-07-11

Applicant: 东南大学

Inventor： 张敏灵 ,  孙彦苹

IPC: G06K9/62

Abstract: 本发明公开了一种融合局部度量的半监督多标记距离度量学习方法，对任一多标记应用场景提取训练数据，并对少量数据进行标注；对于已标注数据，过滤掉标记占有率小于设定阈值的样本，对于未标注数据，通过聚类等操作去除异常点，提高样本质量；将待学习的距离度量表示为组合距离度量形式；基于距离度量表示构造优化项；构建多标记损失项和流形正则化项联合优化模型，学得距离度量；将原数据映射到距离度量空间，然后使用已有半监督多标记学习算法进行学习，从而得到融合局部度量的半监督多标记分类器；将待预测样本输入上述分类器，得到标注样本。采用本发明可以降低人力标注成本，促进了多标记学习框架的实际应用。

公开(公告)号：CN105069133A

公开(公告)日：2015-11-18

申请号：CN201510506268.7

申请日：2015-08-18

Applicant: 东南大学

Inventor： 张敏灵 ,  吴磊

IPC: G06F17/30

CPC classification number: G06F17/30247

Abstract: 本发明提供了一种基于未标记数据的数字图像分类方法。该方法包括以下步骤：（1）用户从包含已分类图像与未分类图像的多标记图像库中选择查询图像，包括相关图像和不相关图像；（2）在选取的已分类数字图像上使用已有的分类方法学习得到一个初始分类模型；（3）在所有查询图像上使用本发明提出的分类方法对初始分类模型进行学习优化得到一个最终分类模型；（4）基于最终分类模型对数字图像存储设备中待分类图像进行分类，并返回分类结果；（5）如果用户对分类结果满意，则执行步骤6，否则从多标记图像库中选择更多的查询图像进行反馈，执行步骤2；（6）结束。该方法能够有效利用大量未分类图像对数字图像的所有可能类别进行分类。