公开(公告)号：CN116433934A

公开(公告)日：2023-07-14

申请号：CN202310180977.5

申请日：2023-02-16

Applicant: 清华大学

Inventor： 徐枫 ,  马靓笛 ,  郭雨晨

IPC: G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本申请提出了一种CT影像表征及影像报告生成的多模态预训练方法，涉及自然语言处理领域，包括获取多模态数据组合；对CT影像采取随机数据增强，并将增强后的数据输入图像编码器进行编码，确定影像特征；将影像报告输入文本编码器进行编码，确定文本特征，且将影像特征输入文本解码器，确定影像描述；分别根据第一影像特征与第二影像特征、文本特征与影像特征在特征空间的相似性以及影像描述与影像报告的准确性，确定混合损失函数；基于混合损失函数，利用梯度下降算法进行模型训练，更新图像编码器、文本编码器与文本解码器的参数。本申请能够实现模型参数优化，提高模型对CT影像的表征能力与数据的使用效率。

公开(公告)号：CN116245141A

公开(公告)日：2023-06-09

申请号：CN202310074506.6

申请日：2023-01-13

Applicant: 清华大学

Inventor： 徐枫 ,  薄子豪 ,  郭雨晨 ,  戴琼海

IPC: G06N3/0455 ,  G06N3/096

Abstract: 本申请涉及深度学习技术领域，特别涉及一种迁移学习架构、方法、电子设备及存储介质，其中，迁移学习架构包括：一个或多个上游任务模型，每个上游任务模型包括多头注意力机制层，且多头注意力机制层整层扩展为专家网络层；下游任务模型，下游任务模型包括与多头注意力机制层层数相同的专家融合层，专家融合层与多头注意力机制层的每层对应，每层专家融合层中专家网络通过迁移所有上游任务模型的多头注意力机制层的对应层得到。由此，解决了相关技术中只能迁移一个上游任务模型，无法同时利用多个上游模型，对上游模型能力要求高等问题。

公开(公告)号：CN112802013B

公开(公告)日：2022-12-02

申请号：CN202110272407.X

申请日：2021-03-12

Applicant: 清华大学 ,  中国人民解放军总医院

Inventor： 徐枫 ,  薄子豪 ,  娄昕 ,  郭雨晨 ,  吕晋浩 ,  戴琼海

IPC: G06T7/00 ,  G06T7/11 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于图神经网络与多任务学习的脑疾病检测方法和装置，其中，方法包括：获取脑部的初始模态图像，根据预设的模态图像模板对初始模态图像对齐获取目标模态图像，并确定目标模态图像的不同脑分区图像区域；将目标模态图像输入预先训练的图像特征提取器，识别与目标模态图像在预设空间的目标低维图像特征；对所有的脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；将结构特征和目标模态图像输入预设的任务处理模型，通过任务处理模型的父分支提取基本图像特征，通过任务处理模型的子分支对基本图像特征处理获取疾病检测结果。由此，提高了脑部疾病的检测准确性。

公开(公告)号：CN114418934A

公开(公告)日：2022-04-29

申请号：CN202111451725.9

申请日：2021-12-01

Applicant: 中国人民解放军总医院 ,  清华大学

Inventor： 徐枫 ,  刘傲寒 ,  娄昕 ,  郭雨晨 ,  吕晋浩 ,  雍俊海 ,  戴琼海

IPC: G06T7/00 ,  G06V30/148 ,  G06V30/40 ,  G06T7/11

Abstract: 本发明提出一种基于文本提取标签与多示例学习的脑部CT异常检测方法，包括获取影像文本数据及相对应的各脑部区域的异常类型标签，根据异常类型标签训练基于循环神经网络的NLP模型，获取脑部CT影像及相对应的文本数据，使用训练好的NLP模型对脑部CT影像对应的文本数据进行预测得到对应的异常标签，获取脑部CT影像上的脑区分割标签，根据脑部CT影像和与其相对应的异常标签以及脑区分割标签训练得到基于MIL的三维卷积模型，获取待预测脑部CT影像并输入至训练后的三维卷积模型，得到异常类型以及异常类型的概率。该方法只需要少量数据标注便可以对大规模数据进行训练，节省了深度学习过程中的数据标注工作量，同时可以提高预测的准确性，提高预测效率。

公开(公告)号：CN113762402A

公开(公告)日：2021-12-07

申请号：CN202111076143.7

申请日：2021-09-14

Applicant: 清华大学

Inventor： 郭雨晨 ,  戴琼海 ,  丁贵广

IPC: G06K9/62 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于小样本持续学习的图像分类方法、装置及存储介质。其中方法包括：S1，获取图片样本数据集，包括用于预训练的大样本数据集和多个用于新任务训练的小样本数据集；S2，通过大样本数据集对模型进行训练，并存储每个类别的特征中心以及回放样本；S3，通过小样本数据集以及存储的每个类别的特征中心以及回放样本对模型进行训练，并计算模型的多个损失；S4，将多个所述损失加权求得总的损失函数，通过梯度下降算法对模型进行更新，存储每个类别的特征中心以及回放样本；S5，重复步骤S3、S4，直到所有新任务的小样本数据集完成学习，得到最终的模型分类器。本方法更加符合人的学习与记忆过程，避免发生灾难性遗忘问题。

公开(公告)号：CN113643311A

公开(公告)日：2021-11-12

申请号：CN202110722099.6

申请日：2021-06-28

Applicant: 清华大学 ,  中国人民解放军总医院

Inventor： 徐枫 ,  刘傲寒 ,  娄昕 ,  郭雨晨 ,  吕晋浩 ,  雍俊海 ,  戴琼海

IPC: G06T7/12

Abstract: 本申请提出了一种对边界误差鲁棒的图像分割方法，涉及深度学习和图像处理技术领域，该方法包括：获取待分割的图像，图像中包括多个像素点；将图像输入预先搭建的图像分割神经网络中，以生成每个像素点的第一分割预测值；获取每个像素点的分割标注值，并根据每个像素点在图像中的位置计算每个像素点的权重；根据图像中任一所述像素点的第一分割预测值、分割标注值和权重计算损失函数，并反向传播所述损失函数，以更新图像分割神经网络的参数；通过更新后的图像分割神经网络生成待分割的图像第二分割预测值。本申请提出的方法可以在分割标注边缘不准确的情况下，得到更好的图像分割结果。

公开(公告)号：CN112766457A

公开(公告)日：2021-05-07

申请号：CN202011635173.2

申请日：2020-12-31

Applicant: 清华大学

Inventor： 郭雨晨 ,  孙希明 ,  孙翀贻 ,  丁贵广 ,  戴琼海

IPC: G06N3/04

Abstract: 本申请提出一种多时间尺度记忆增强的人工神经网络，包括：特征数据提取模块，用于对输入数据进行特征提取，得到输入数据的特征数据；记忆编码模块，用于基于时间尺度因子和记忆采样时间因子对特征数据进行记忆编码，获得与特征数据对应的记忆信息；多时间尺度变换模块，用于对记忆信息进行多时间尺度变换，获得多时间尺度的记忆信息；记忆提取模块，用于将多时间尺度的记忆信息与记忆模块之中记忆信息进行匹配，以提取出与多时间尺度的记忆信息匹配的目标记忆信息；记忆融合模块，用于将多时间尺度的记忆信息与目标记忆信息进行融合，获得针对输入数据的增强表示；推理模块，用于对增强表示进行推理，以得到针对输入数据的推理结果。

公开(公告)号：CN112712130A

公开(公告)日：2021-04-27

申请号：CN202110044054.8

申请日：2021-01-13

Applicant: 清华大学

Inventor： 戴琼海 ,  郭雨晨 ,  方璐 ,  丁贵广

IPC: G06K9/62

Abstract: 本申请提出一种视觉理解模型训练方法以装置。其中方法包括：对第一视觉信息理解任务的第一图像样本和第二视觉信息理解任务的第二图像样本分别进行编码，以获得与第一图像样本对应的第一编码结果和与第二图像样本对应的第二编码结果；基于第一编码结果对多个第一图像样本进行聚类，以得到每个第一图像样本所属的聚类类别；将每个第一图像样本按照同一类别组成至少一批训练数据对解码器进行训练，并在所有类别都训练结束后，从多个第一图像样本中选取M个代表性样本并存储至多级记忆模块的一级记忆中；基于多级记忆模块之中一级记忆中的所有代表性样本和第二图像样本，按照同一聚类类别组成至少一批训练数据对解码器进行训练。

公开(公告)号：CN112053319A

公开(公告)日：2020-12-08

申请号：CN202010709794.4

申请日：2020-07-22

Applicant: 清华大学

Inventor： 徐枫 ,  周展平 ,  郭雨晨 ,  杨东 ,  戴琼海

IPC: G06T7/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提出一种图像处理的方法与装置，包括以下步骤：获取M张待处理CT图像；将M张待处理CT图像输入训练后的深度卷积神经网络进行处理，得到目标类别。本发明目的在于利用计算机深度学习方法对CT图像进行识别，达到计算机快速自动识别CT图像类型的效果。

公开(公告)号：CN120070875A

公开(公告)日：2025-05-30

申请号：CN202510551622.1

申请日：2025-04-29

Applicant: 清华大学

Inventor： 郭雨晨 ,  戴琼海 ,  方璐 ,  林浩哲

IPC: G06V10/25 ,  G06V10/26 ,  G06V10/46 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06T3/4038 ,  G06T5/50

Abstract: 本发明提供了基于反向分割的高分辨图像目标对象检测方法及装置，涉及图像处理技术领域，包括：对原始高分辨图像的分辨率进行降低，得到低分辨率图像；从低分辨率图像中，滤除轮廓为非目标对象类别的图像区域，并保留轮廓为目标对象类别的图像区域；将保留有轮廓为目标对象类别的图像区域的低分辨率图像的分辨率，还原至原始高分辨图像的分辨率；对分辨率还原后的高分辨率图像进行切片，得到多个图像区域；确定多个图像区域各自的质量；通过不同结构的检测器对不同质量的图像区域进行目标检测，得到多个图像区域各自的目标对象检测结果；根据多个图像区域各自的目标对象检测结果得到原始高分辨图像的目标对象检测结果，兼顾了检测精度和效率。