-
公开(公告)号：CN117973568A
公开(公告)日：2024-05-03
申请号：CN202410133574.X
申请日：2024-01-31
Applicant: 南京邮电大学
IPC: G06N20/20 , G06V10/764 , G06V10/774
Abstract: 本发明涉及机器学习技术领域，具体涉及一种基于自监督知识蒸馏策略的多模态学习方法，包括：将数据集中的图像数据集划分为训练集和测试集；构建多模态学习模型；将训练集和测试集分别输入RTN网络和FIN网络中进行处理；进行RTN网络和FIN网络间的培训过程以计算任务学习的交叉熵损失；提取RTN和FIN网络中的融合特征信息；基于RTN网络中的融合特征信息计算预测结果；基于预测结果、RTN和FIN网络中的融合特征信息计算ITN网络的损失；基于FIN网络中的融合特征信息计算WMEN网络的损失；计算模型总损失，并根据模型总损失进行参数优化。本发明通过RTN网络、FIN网络和MNB网络对训练集数据和测试集数据进行处理，并结合WMEN网络应对多模态数据中某些模态缺失的情况，在极大程度上提高了多模态学习模型的性能。
Search Results
1
records
(took 0.013 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
