公开(公告)号：CN113822373A

公开(公告)日：2021-12-21

申请号：CN202111254249.1

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  李岚 ,  詹德川 ,  姜远

IPC: G06K9/62 ,  G06N5/02 ,  G06N5/04 ,  G06N20/20

Abstract: 本发明公开一种针对类别不均衡数据的基于集成与知识蒸馏的图像分类模型训练方法，包括子模型训练步骤、集成学习步骤和模型融合步骤；首先收集待分类的图片的训练数据，包括每类的图片以及图片的类别信息，在真实的情况下，不同类别的数据的个数呈长尾分布特征，并在该数据上，训练多个不同的深度模型。然后使用这些不同的深度模型对训练数据提取特征，并在特征空间中对这些深度模型进行集成，最后利用知识蒸馏的方法把集成模型融合成一个复杂度更低的推理模型，降低推理的复杂度。本发明可以解决在类别不平衡的情况下进行图片分类的问题，并且本发明实施过程中占用资源少，适用性强。

公开(公告)号：CN119992203A

公开(公告)日：2025-05-13

申请号：CN202510097300.4

申请日：2025-01-22

Applicant: 南京市口腔医院 ,  南京大学

Inventor： 李厚轩 ,  周伟 ,  郭薇 ,  雷浪 ,  叶翰嘉 ,  李岚 ,  詹德川 ,  姜远 ,  周志华

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/092 ,  G06V10/26 ,  G06V10/74 ,  G16H50/20 ,  G16H30/40 ,  G06T7/00

Abstract: 本发明涉及一种基于牙周照片的牙周炎识别系统，主要用于通过牙周照片自动化识别牙周炎。系统包括五个模块：图像采集与预处理模块、多实例学习模型训练模块、分类与诊断模块、系统普通用户端以及系统专家用户端。该系统通过图像处理和目标检测技术，首先对采集的牙周照片进行预处理，排除低质量图片并裁剪出牙齿区域；然后利用多实例学习框架，结合对比损失对图像进行分类，识别牙周炎的风险等级。用户端提供直观的诊断结果，专家端则为专家提供更详细的分析信息和建议。该发明能够有效提高牙周炎的诊断精度，减轻临床工作负担，实现牙周炎的早期自动化识别，为患者提供及时有效的治疗建议。

公开(公告)号：CN118196406B

公开(公告)日：2025-03-04

申请号：CN202410163502.X

申请日：2024-02-05

Applicant: 南京大学 ,  中国人民解放军东部战区总医院

Inventor： 詹德川 ,  王慧 ,  姚兵 ,  叶翰嘉 ,  施意 ,  史浩男 ,  王韵凯 ,  田旭鹏 ,  张铁议 ,  邵永 ,  王岑岑 ,  曾嵘

IPC: G06F30/27

Abstract: 本申请提供了一种用于对图像进行分割处理的方法、装置及计算机可读介质。根据本申请的方法包括：获取待处理的目标图像，所述目标图像包含多个目标对象；通过使用目标分割模型和目标聚类算法来对目标图像中包含的各个目标对象进行分割处理；生成所述目标图像的分割结果信息。本申请通过结合分割模型和聚类算法来对图像中彼此交叠的细长结构的对象进行图像分割处理，并达到优异的图像分割效果；并且，根据本申请实施例的方法，通过结合分割模型和聚类算法来在精子检测的场景中对精子显微照片进行图像分割处理，准确识别和分割彼此交叠的精子尾部，整个过程无需人工参与，实现了精子自动分割，极大地提升了对显微照片中的精子进行分割的效率。

公开(公告)号：CN115908947B

公开(公告)日：2025-01-28

申请号：CN202211693971.X

申请日：2022-12-28

Applicant: 南京大学 ,  南京市口腔医院

Inventor： 叶翰嘉 ,  姜远 ,  李厚轩 ,  周志华

IPC: G06V10/764 ,  G06V10/774 ,  G06N20/00

Abstract: 本发明公开一种基于反绎学习的多模态牙周图像识别方法和系统，首先，获取标注的牙周疾病图片，并以有监督的方式对于预训练模型进行更新；接着，对于牙周疾病严重程度的知识进行形式化，形成知识库；然后，基于预训练模型对无标注牙周疾病图片数据生成伪标记，并将伪标记与知识库进行对比，用逻辑推理的结果针对伪标记进行矫正与更新，并利用矫正数据重新训练模型；最后，利用训练好的模型生成图片对应的最终标记，并利用多模态融合的方法得到最终的识别结果。本发明利用反绎学习的框架，在仅有少量标注数据的场景下，通过形式化并利用专家知识，在加速训练过程的同时，更能使模型达到较高的识别准确率。

公开(公告)号：CN118351407A

公开(公告)日：2024-07-16

申请号：CN202410443022.9

申请日：2024-04-12

Applicant: 复旦大学附属中山医院 ,  南京大学

Inventor： 郭玮 ,  王蓓丽 ,  潘柏申 ,  邵文琦 ,  段昕岑 ,  赵瀛 ,  叶翰嘉 ,  施意 ,  李瑞翔 ,  姜远

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/778 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种融合多模态学习的免疫固定电泳(IFE)图谱分析方法。免疫固定电泳图像由六条区带组成，并且在横向上可以分为四个区域。区带在某个横向区域的匹配标志了异常蛋白的位置信息。在进行免疫固定电泳的同时，通常会进行血清电泳检测，血清电泳图像包含了异常蛋白的位置信息。本方法通过将同一患者对应的血清电泳图像和免疫固定电泳图像同时作为输入进行多模态模型学习，来进行IFE图谱的阴阳性分类和区带分类。针对少量且类别不平衡现象较为严重的样例数据，引入专家知识，对样例数据进行处理和标注；对两种模态数据进行特征提取和融合，训练高效且准确的分类器模型。与传统的单模态方法相比，多模态方法在阴阳二分类和区带分类的性能上都有显著的提升。通过综合利用血清电泳和免疫固定电泳图像的信息，该方法能够提高阴阳分类和区带分类的准确率，有望在免疫病理学的临床诊断中发挥重要作用。

公开(公告)号：CN117612163A

公开(公告)日：2024-02-27

申请号：CN202311730723.2

申请日：2023-12-15

Applicant: 南京大学 ,  复旦大学附属中山医院

Inventor： 叶翰嘉 ,  施意 ,  李瑞翔 ,  姜远 ,  郭玮 ,  潘柏申 ,  王蓓丽 ,  邵文琦 ,  段昕岑 ,  赵瀛 ,  周志华

IPC: G06V20/69 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/09 ,  G06N3/084 ,  G06N5/022

Abstract: 本发明公开一种结合反绎学习与深度学习的免疫固定电泳图像识别方法，首先，获取免疫固定电泳图像及相关联的标记信息；针对少量且类别不平衡现象较为严重的样例数据，结合反绎学习引入专家知识，依照人工识别规则对样例数据进行切分和重新组合，从而实现免疫固定电泳图像的自动生成和标注；结合专家知识库，利用多任务学习范式和注意力机制设计神经网络结构，构建深度学习模型，对经反绎学习增广后的数据进行训练，获得高效且准确的分类模型；将所得到的分类模型应用于免疫固定电泳图像的识别中，准确、高效地实现免疫固定电泳图像的自动识别。

公开(公告)号：CN117350812A

公开(公告)日：2024-01-05

申请号：CN202311337786.1

申请日：2023-10-17

Applicant: 南京大学

Inventor： 詹德川 ,  叶翰嘉 ,  韩路 ,  邵明浩 ,  周志华

IPC: G06Q30/0601 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/092 ,  G06N3/096 ,  G06F18/214 ,  G06F18/25

Abstract: 本发明公开一种基于对比学习和有模型强化学习的多模态商品推荐系统。首先，获取推荐系统中的商品图像、文字和标签的多模态数据，以及已经收集的用户行为数据，通过以对比学习为主的无监督学习方法构建商品特征；接着，利用构建好的商品特征以及用户行为数据构建用户特征作为状态，定义推荐商品为动作以及用户反馈为环境奖赏，训练离线强化学习模型；最后，将该模型作为预训练模型，部署到真实场景，当系统收集到新的用户行为数据时，及时更新模型。本发明利用强化学习的框架，应用对比学习多模态任务，综合大量商品与用户购物信息，构建了用户与推荐系统交互的马尔可夫过程，提升了推荐系统的精准性。

公开(公告)号：CN116883727A

公开(公告)日：2023-10-13

申请号：CN202310752252.9

申请日：2023-06-25

Applicant: 中国医科大学附属第一医院 ,  南京大学

Inventor： 满冬亮 ,  尚红 ,  韩晓旭 ,  杨晓陶 ,  关一夫 ,  云科 ,  叶翰嘉 ,  施意 ,  姜远

IPC: G06V10/764 ,  G06V10/25 ,  G06Q10/0639 ,  G16H10/40 ,  G06V10/44

Abstract: 本发明公开一种基于机器学习算法的实验室血清质量识别方法及计算机设备与存储介质，具体包括血清样本图片生成步骤、血清质量识别助手（SQRA）系统处理步骤、生化分析仪检测步骤、干扰信息报告生成和结果分析步骤。本发明具有较高的通过率和较低的假阴性率。同时，系统有友好的图形界面，加快了实验室血清样本检测的速度，提升了操作人员与系统交互的效率。同时对系统的模块进行了优化，提高了模块之间的交互速度，加强了系统的鲁棒性和稳定性。

公开(公告)号：CN116484970A

公开(公告)日：2023-07-25

申请号：CN202310396335.9

申请日：2023-04-13

Applicant: 南京大学

Inventor： 周志华 ,  赵鹏 ,  叶翰嘉 ,  谭志豪

IPC: G06N20/00 ,  G06F18/23 ,  G06F8/60 ,  G06F8/36

Abstract: 本发明公开一种基于锚位学件的学件查搜方法，在大规模学件库（学件市场）中进行高效模型查搜，分为两个阶段：上传阶段和部署阶段。在上传阶段，使用学件聚类来结构化地组织模型，确定锚位学件；在部署阶段，学件库将所有锚位学件传给用户，用户对得到的锚位学件评估并返回评估结果给学件库，学件库根据评估结果了解用户任务，从而进一步推荐学件给用户，用户选择有益学件。通过让用户首先评估锚位学件来缩小候选学件范围，避免了遍历学件库中的所有学件，达到了提高模型查搜效率的目的。

公开(公告)号：CN110503065B

公开(公告)日：2023-04-07

申请号：CN201910802557.X

申请日：2019-08-28

Applicant: 南京大学

Inventor： 叶翰嘉 ,  詹德川 ,  姜远 ,  杨嘉祺

IPC: G06V40/20 ,  G06V10/74 ,  G06V10/764

Abstract: 本发明公开一种基于距离度量的移动设备用户动作姿态识别方法，包括训练数据收集步骤，全局模型训练步骤，局部模型适配步骤和识别步骤；首先对于特定的动作姿态利用移动设备内置传感器进行数据收集，收集大量用户的动作数据后训练全局模型提取其中一致的度量特征，然后在具体用户上采用将全局度量模型适配到单用户小数据上的方式，最后通过适配后的模型在移动设备上进行行为识别。本发明的方法在实施过程中对于单一用户的数据需求量小，并能在具体用户上提高模型精度，对于用户特有的动作姿态进行准确建模和识别。