基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769A

    公开(公告)日:2022-11-11

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

    基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769B

    公开(公告)日:2023-05-09

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

    图像数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN118038080A

    公开(公告)日:2024-05-14

    申请号:CN202410125078.X

    申请日:2024-01-30

    Applicant: 北京大学

    Abstract: 本申请涉及一种图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取图像训练集,并基于编码器提取图像训练集中的图像结构特征和图像纹理特征;对图像结构特征和图像纹理特征进行重构,得到重构图像特征,并通过共享解码器对重构图像特征进行解码处理,得到重构损失值集;通过分类器对图像结构特征进行分类处理,得到分类损失值集,并基于重构损失值集和分类损失集更新编码器和共享解码器的参数;在更新后的编码器满足训练停止条件的情况下,将编码器中的共享编码器确定为特征提取模型;特征提取模型用于提取图像中的图像结构特征。采用本方法能够提高特征提取模型的准确性。

    医学数据汇交共享方法、平台、装置和计算机设备

    公开(公告)号:CN117909330A

    公开(公告)日:2024-04-19

    申请号:CN202410093555.9

    申请日:2024-01-23

    Applicant: 北京大学

    Abstract: 本申请涉及一种医学数据汇交共享方法、平台、装置、计算机设备、存储介质和计算机程序产品。方法应用于医学数据汇交共享平台,方法包括:当满足预设的共享价值预测条件时,获取医学数据汇交共享平台上目标医学数据的数据集大小、下载量和各项价值指标对应的指标值;根据目标医学数据的数据类型和预设的医学数据质量检测模型,对目标医学数据进行质量检测,得到目标医学数据的质量检测结果;根据数据集大小对应的指标值、下载量对应的指标值、各项价值指标对应的指标值、质量检测结果和预设的医学数据共享价值预测模型,确定目标医学数据的共享价值预测结果。采用本方法能够提高确定医学数据的共享价值的效率。

    信息检索知识图谱嵌入方法、装置和计算机设备

    公开(公告)号:CN116842109A

    公开(公告)日:2023-10-03

    申请号:CN202310766394.0

    申请日:2023-06-27

    Applicant: 北京大学

    Abstract: 本申请涉及一种信息检索知识图谱嵌入方法、装置和计算机设备。方法包括:获取信息检索知识图谱,并采集信息检索知识图谱的各子图信息;将各子图信息,转换为每个子图信息对应的文本序列,并对各文本序列进行编码转换处理,得到每个文本序列对应的掩盖实体向量、以及每个文本序列的掩盖关系向量;针对每个文本序列,基于文本序列对应的子图信息的图结构信息,更新文本序列的掩盖实体向量、以及文本序列的掩盖关系向量,并重建上述各向量得到信息检索知识图谱对应的各实体向量、以及信息检索知识图谱对应的各关系向量。采用本方法能够提升生成该信息检索知识图谱的实体向量和关系向量的精准度。

    基于线性回归模型的抗NLOS干扰可见光定位方法及系统

    公开(公告)号:CN111664853B

    公开(公告)日:2022-03-15

    申请号:CN202010573959.X

    申请日:2020-06-22

    Abstract: 本发明公布了一种基于线性回归模型的抗NLOS干扰的可见光定位方法及系统,包括发射模块、接收模块、训练模块、定位模块;发射模块包括多个LED灯、信号发生器、基带调制模块和驱动电路;每个LED灯均有一个ID;接收模块包括光学滤波片、光电检测器、放大器、模数转换器和微处理器,用于接收在一个周期不同时间片段不同LED灯的信号,并提取其接收到的信号强度;本发明通过采用机器学习方法去除非视线传输(NLOS)干扰,再用几何定位法实现定位,可消除NLOS干扰对定位的影响,提高定位精度,还降低了现有基于机器学习的指纹定位法对定位数据的要求。

    信息检索知识图谱嵌入方法、装置和计算机设备

    公开(公告)号:CN116842109B

    公开(公告)日:2024-09-13

    申请号:CN202310766394.0

    申请日:2023-06-27

    Applicant: 北京大学

    Abstract: 本申请涉及一种信息检索知识图谱嵌入方法、装置和计算机设备。方法包括:获取信息检索知识图谱,并采集信息检索知识图谱的各子图信息;将各子图信息,转换为每个子图信息对应的文本序列,并对各文本序列进行编码转换处理,得到每个文本序列对应的掩盖实体向量、以及每个文本序列的掩盖关系向量;针对每个文本序列,基于文本序列对应的子图信息的图结构信息,更新文本序列的掩盖实体向量、以及文本序列的掩盖关系向量,并重建上述各向量得到信息检索知识图谱对应的各实体向量、以及信息检索知识图谱对应的各关系向量。采用本方法能够提升生成该信息检索知识图谱的实体向量和关系向量的精准度。

    医学知识图谱的质控方法、装置、计算机设备和存储介质

    公开(公告)号:CN115358235A

    公开(公告)日:2022-11-18

    申请号:CN202210875752.7

    申请日:2022-07-25

    Applicant: 北京大学

    Abstract: 本申请涉及一种医学知识图谱的质控方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:将医学数据输入至目标医学命名实体识别模型,得到医学数据对应的识别结果数据集;在识别结果数据集的容量大于预设第一阈值的情况下,对识别结果数据集中相同的识别数据进行汇总,得到目标数据;在目标数据的计数值大于预设第二阈值的情况下,根据目标数据,在医学知识图谱中进行检索,得到目标数据对应的目标检索结果,并确定目标数据与目标检索结果的相似度;根据预设的质控策略、以及相似度,对医学知识图谱进行质控处理。提高医学知识图谱的质控效果。

Patent Agency Ranking