公开(公告)号：CN113822373B

公开(公告)日：2023-09-15

申请号：CN202111254249.1

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  李岚 ,  詹德川 ,  姜远

IPC: G06V10/764 ,  G06V10/774 ,  G06N5/04 ,  G06N20/20

Abstract: 本发明公开一种针对类别不均衡数据的基于集成与知识蒸馏的图像分类模型训练方法，包括子模型训练步骤、集成学习步骤和模型融合步骤；首先收集待分类的图片的训练数据，包括每类的图片以及图片的类别信息，在真实的情况下，不同类别的数据的个数呈长尾分布特征，并在该数据上，训练多个不同的深度模型。然后使用这些不同的深度模型对训练数据提取特征，并在特征空间中对这些深度模型进行集成，最后利用知识蒸馏的方法把集成模型融合成一个复杂度更低的推理模型，降低推理的复杂度。本发明可以解决在类别不平衡的情况下进行图片分类的问题，并且本发明实施过程中占用资源少，适用性强。

公开(公告)号：CN116704248A

公开(公告)日：2023-09-05

申请号：CN202310672837.X

申请日：2023-06-07

Applicant: 南京大学 ,  中国医科大学附属第一医院

Inventor： 叶翰嘉 ,  施意 ,  姜远 ,  韩晓旭 ,  尚红 ,  满冬亮 ,  杨晓陶 ,  关一夫 ,  云科

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开一种基于多语义不平衡学习的血清样本图像分类方法。首先，对原始图像进行裁剪和边缘识别等，获取含有血清样本信息的方形图片；接着，对训练样本进行预处理后使用深度10进行训练，构建分类模型，在模型评估时构建再平衡的数据集并进行联合测试，使得方法不会偏向于出现次数较多的类别；对样本图像训练一个二分类模型；然后，分别对这些模型使用应对类别不平衡的深度学习方法进行优化；最后，将得到的模型综合起来，得到一个用于识别血清样本质量的模型。本发明提出了一种新的应对多语义类别不平衡学习的方法，并结合神经网络二分类方法，实现了较高的图像分类精度。

公开(公告)号：CN116129182A

公开(公告)日：2023-05-16

申请号：CN202310037783.X

申请日：2023-01-10

Applicant: 南京大学

Inventor： 叶翰嘉 ,  詹德川 ,  姜远 ,  施意

IPC: G06V10/764 ,  G06N3/084 ,  G06N3/0464 ,  G06N3/096

Abstract: 本发明公开一种基于知识蒸馏和近邻分类的多维度医疗图像分类方法，包括训练数据收集步骤，模型训练步骤和医疗图像分类步骤；所述训练数据收集过程中，首先收集医疗图像并进行预处理，然后对医疗图像标注所有疾病维度的标签，得到训练数据；模型训练过程中，首先针对每个疾病维度分别训练一个对应模型，再通过知识蒸馏技术把知识汇聚到一个统一的学生模型中；在最后的医疗图像分类过程中加载学生模型，获取待测试的病例图片，将预处理后的图片输入模型，反馈病例图片在所有维度上的输出结果。本发明的方法能够端到端地提取特征并做出预测，且使用一个统一的模型来对某一个具体的诊断图片同时输出多个疾病维度上的预测结果。

公开(公告)号：CN113988979A

公开(公告)日：2022-01-28

申请号：CN202111253756.3

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  施意 ,  詹德川

IPC: G06Q30/06 ,  G06F16/9535 ,  G06F16/958 ,  G06V10/74 ,  G06V10/774 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于条件相似性语义匹配的多维度商品信息推荐方法，包括训练数据收集步骤，模型训练步骤和商品推荐步骤；首先在商城网站上提取相关商品的图片数据并进行预处理和相似性标注来进行数据收集，收集足量的商品数据后训练全局模型来得到一个全局的特征度量，然后再由全局模型分出多种维度的局部模型，每个维度对应一种商品的属性，最后综合多种语义来进行商品信息推荐。本发明的方法在实施过程中并不需要在每个维度上做具体的标注，而是只需要做相似性判断就能应对用户多种维度的商品信息推荐需求。

公开(公告)号：CN113963235A

公开(公告)日：2022-01-21

申请号：CN202111254295.1

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  陆苏 ,  詹德川 ,  周志华 ,  姜远

IPC: G06V10/774 ,  G06V10/74 ,  G06V10/764

Abstract: 本发明公开一种跨类别图像识别模型重用方法和系统，从训练数据集中随机抽取多个样本元组，并使用模型T计算这些样本元组的关系评价矩阵；使用模型S计算这些样本元组的关系评价矩阵；将T计算得到的关系评价矩阵与S计算得到的关系评价矩阵做匹配，从而优化新类模型S；从训练数据集中随机抽取多个样本小批，并使用T计算这些样本小批的新类分类置信度；使用S计算这些样本小批的新类分类置信度；将T计算得到的新类分类置信度与S计算得到的新类分类置信度做匹配，同时最小化S在这些样本小批上的交叉熵损失，从而进一步优化S；第二阶段结束后，返回训练好的新类S。本发明可以提高旧模型的可复用性。

公开(公告)号：CN110502660A

公开(公告)日：2019-11-26

申请号：CN201910803477.6

申请日：2019-08-28

Applicant: 南京大学

Inventor： 叶翰嘉 ,  詹德川 ,  姜远 ,  周志华 ,  陆苏

IPC: G06F16/583 ,  G06F16/55 ,  G06K9/62

Abstract: 本发明公开一种弱监督下的多距离度量图像检索方法，获取图像及图像数据的弱监督关联信息；初始化K个距离度量；在收集到的数据上优化距离度量；检查K个距离度量是否合法；对不合法的距离度量做投影，将其变换为合法的距离度量；重复上述过程，直到所有距离度量都不再产生较大的变化，返回获取的K个距离度量函数；用户输入一张图片，从数据库中检索与这张图片相似的图片；分别计算K个相似度函数给出的被检索图片和数据库中所有候选图片之间的相似度；利用聚合函数将K个相似度进行聚合，获取该图片在各种语义下和数据库中所有图片的整体相似度；返回整体相似度最高的若干张候选图片。本发明考虑图像之间多种相似性和内在关联，提高检索准确度。