-
公开(公告)号:CN117577306A
公开(公告)日:2024-02-20
申请号:CN202311572594.9
申请日:2023-11-22
Applicant: 大连海事大学
Abstract: 本发明公开一种基于音频和文本模态融合的阿尔茨海默症诊断系统,涉及语音处理和自然语言处理的交叉技术领域。包括:多模态融合模块:基于数据预处理模块得到的向量化表示,利用transformer编码器和多层共同注意力层进行特征学习、模态交互和特征深度学习,得到多模态交互后的特征表示;多任务学习模块:基于多模态交互后的特征表示进行多任务学习;多任务包括主任务和两个辅助任务;第一个辅助任务为模态驱动的交互增强任务;第二个辅助任务为协同模态融合任务;分类模块:利用多任务学习后的分类器对待分类的阿尔兹海默症数据进行分类,得到阿尔兹海默症数据的分类结果。本发明能够增强模态之间的有效信息交流,提高系统的性能和准确性。
-
公开(公告)号:CN117494049A
公开(公告)日:2024-02-02
申请号:CN202311515917.0
申请日:2023-11-13
Applicant: 大连海事大学
IPC: G06F18/25 , G06N3/0442 , G06N3/098 , G06N5/022 , G06F18/243 , G06F40/289
Abstract: 本发明提出了一种基于特征交互和多模态知识融合的医学代码预测方法及系统,属于自然语言处理技术领域。本发明提出了一个新的联合学习框架,探索表格数据和临床笔记之间的相互依赖,以生成包含两者之间关联的表示。本发明提出一个多模态知识融合网络,将维基百科知识、表格数据、临床笔记进行融合,以提取不同类型数据之间的互补性信息。通过知识融合,不仅可以快速更好地融合不同数据的特征,还可以兼顾临床笔记和ICD代码两部分的数据特征,提升了模型的预测性能。本发明是本领域首次同时结合维基百科知识和结构化表格数据来辅助ICD编码任务并且达到很好的预测效果,有效地处理了代码之间的关联性和文本中的噪声问题。
-
公开(公告)号:CN117173460A
公开(公告)日:2023-12-05
申请号:CN202311098586.5
申请日:2023-08-29
Applicant: 大连海事大学
IPC: G06V10/764 , G06T7/00 , G06T7/10 , G06V10/25 , G06V10/26 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开一种多任务联合优化的前列腺偶发癌检测方法及装置。方法包括:通过降采样操作将MRI图像数据转换为三种不同尺度;将三种不同尺度的图像数据输入到图像适应模块,所述图像适应模块包括残差卷积单元和串联注意力单元;将多尺度特征输入到多分辨率融合模块中,获取不同尺度前列腺MRI图像的交互特征;将所述交互特征输入到多任务联合优化模块,使用Focal损失函数LFocal作为前列腺偶发癌检测的优化目标,使用Tversky损失函数LTversky作为前列腺分割的优化目标,进行多任务的联合优化;基于所述优化后的前列腺偶发癌检测模型进行前列腺偶发癌检测。本发明针对临床真实应用场景,能够基于良性前列腺增生患者MRI图像特征来精准预测前列腺偶发癌的发生概率。
-
公开(公告)号:CN114999565A
公开(公告)日:2022-09-02
申请号:CN202210418625.4
申请日:2022-04-20
Applicant: 大连海事大学
Abstract: 本发明一种基于表示学习和图神经网络的药物靶标亲和力预测方法,涉及生物医学和自然语言技术交叉领域。本发明将输入的药物和蛋白质数据转换为两种不同的形式,即二维矩阵结构和三维图结构,从而可以利用不同结构信息,充分提取信息,更好地对结果进行预测;使用注意力层融合四种信息,通过分析每一部分的权重,了解不同部分的重要性,提升预测性能。本发明解决了当前药物靶标亲和力预测任务中大多数只关注输入数据的部分结构信息的问题,并且使用注意力机制进行融合,更好地解释每一部分数据信息的重要性,从而大大提升药物靶标亲和力预测的性能。
-
公开(公告)号:CN114419409A
公开(公告)日:2022-04-29
申请号:CN202210036924.1
申请日:2022-01-12
Applicant: 大连海事大学
Abstract: 本发明公开了一种基于人脸识别和分层融合策略的多模态恶意迷因图检测方法,涉及自然语言处理技术领域。本发明引入了一种新的多模态融合模型,并对图像和文本进行多模态训练。这个多特征融合网络首先使用ResNet和YOLO‑v5提取图像特征和属性特征,然后使用属性特征和双向LSTM网络提取文本特征。在提取属性特征的同时,引入了人脸识别器来获取迷因图中人脸的种族和性别信息,这样可以更好地捕捉到仇恨情绪。然后将三种模态的特征重建并融合到一个特征向量中进行预测。评估结果表明,该模型在检测仇恨迷因图方面的性能达到了更高的水平。
-
公开(公告)号:CN113936743A
公开(公告)日:2022-01-14
申请号:CN202111341485.7
申请日:2021-11-12
Applicant: 大连海事大学
Abstract: 本发明提供了一种基于异质PPI网络的蛋白质复合物识别方法,涉及生物信息学的技术领域。本发明使用的异质信息网络表示识别方法可以融入更多的语义信息,从而提升对蛋白质节点特征的表达效果。首先,结合基因本体属性信息和PPI数据构建异构PPI网络。其次,基于构建的网络,采用异构表示学习方法获得蛋白质节点的向量表示,加入了双重注意力机制,可以更好地学习不同种类的每个节点的重要性。最后,本发明提出了一种基于异质网络的复合物识别方法来识别蛋白质复合物。本发明解决了现有的方法只构成了生物信息和蛋白质节点的同质网络,大多忽略了不同类型的节点具有不同的重要性这些问题。
-
-
-
-
-