-
公开(公告)号：CN117352121A
公开(公告)日：2024-01-05
申请号：CN202311451375.5
申请日：2023-11-02
Applicant: 北京邮电大学
IPC: G16H15/00 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0499 , G06V30/10 , G16H30/00
Abstract: 本申请实施例公开了一种医学影像报告的生成方法及装置。在该方法中，将医学影像视图输入视觉语言预训练模型提取视觉特征；基于视觉特征构建医学文本标签；将医学文本标签输入预训练语言模型进行编码，得到文本特征；将文本特征和视觉特征输入预设的多模态交叉融合模块进行融合，得到多模态特征：对多模态特征进行解码，得到医学影像报告。由此可见，利用本申请实施例提供的方案，采用多模态预训练模型提取视觉特征，实现高级语义信息的捕捉，从而提高医学影像报告的准度；采用预训练语言模型对医学文本标签进行编码，能够提供医学影像报告中医学术语的充实性和准确度；采用多模态交叉融合模块弥补特征间差异，从而提高生成的医学影像报告的质量。
-
公开(公告)号：CN117409274A
公开(公告)日：2024-01-16
申请号：CN202311464707.3
申请日：2023-11-06
Applicant: 北京邮电大学
IPC: G06V10/774 , G06V10/776 , G06V10/44 , G06V10/80 , G06V10/26 , G06V20/70
Abstract: 本申请提供了一种图像分割模型的训练方法、装置及图像分割方法，所述图像分割模型的训练方法包括以下步骤：构建训练集，获得样本图像的多个模态分别对应的第一特征提取结果，以及样本图像多个模态相同感受野下分别对应的多个第二特征提取结果；将多个第二特征提取结果进行融合得到特征融合结果；将第一特征提取结果和特征融合结果进行空间层面和通道层面的融合得到空间融合结果和通道融合结果；将空间融合结果和通道融合结果进行融合得到单模态融合结果；利用第一特征提取结果、单模态融合结果和分割标签得到将样本图像输入到所述待训练模型后待训练模型的对比损失。本申请提供的方法训练出的图像分割模型精度更高。
-
公开(公告)号：CN117392588A
公开(公告)日：2024-01-12
申请号：CN202311507146.0
申请日：2023-11-13
Applicant: 北京邮电大学
Abstract: 本申请公开一种运动姿态的预测方法、装置、设备及计算机可读存储介质，应用于数据处理技术领域。对包括需要预测运动姿态的目标个体的待处理运动视频进行预处理，得到待处理运动视频数据，利用多模态特征提取及融合网络对待处理运动视频数据进行特征提取和融合，得到多模态特征，多模态特征为目标个体的关键点序列特征、运动速度差特征以及运动光影特征的融合特征；将多模态特征输入至运动姿态预测网络，得到运动姿态预测网络输出的运动预测结果。多模态特征中噪声信息较少，且在复杂应用场景及中长期预测时，能够较为准确的反映目标个体运动中的特性，则基于多模态特征进行运动姿态预测，能够提高目标个体的运动姿态的预测准确性。
-
公开(公告)号：CN117437198A
公开(公告)日：2024-01-23
申请号：CN202311433730.6
申请日：2023-10-31
Applicant: 北京邮电大学
IPC: G06T7/00 , G06V10/764 , G06V10/774 , G06T5/70 , G06V10/82 , G06N3/0464
Abstract: 本申请公开了一种医学图像生成模型的训练方法、问答方法及相关产品。待训练医学图像生成模型根据医学样本图像的图像类型对医学样本图像的噪声图像进行预测，获得医学预测图像；根据医学图像标签和医学预测图像的差异，调整待训练医学图像生成模型的参数，直至调整后的模型满足训练截止条件，训练结束获得医学图像生成模型。可见，本申请在对噪声图像进行预测时，引入了医学样本图像的图像类型，以将图像类型作为条件，引导待训练医学图像生成模型生成医学预测训练图像，如此，本申请提出结合条件对医学图像进行预测，其提高了预测噪声的准确性，也进一步提高了生成医学图像的准确性。
-
-
-
Search Results
4
records
(took 0.018 seconds)
