公开(公告)号：CN119151020B

公开(公告)日：2025-03-07

申请号：CN202411669744.2

申请日：2024-11-21

Applicant: 南京邮电大学

Inventor： 尤洪利 ,  何昕 ,  马一凡 ,  丁皓阳 ,  周剑 ,  蔡惠

IPC: G06N20/00 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/08 ,  G06F18/213

Abstract: 本发明属于人工智能和机器学习领域，公开了一种具有鲁棒性的多模态联邦学习框架，包括：S1获取缺失模态，筛选出和缺失模态相关性强的模态，采用多层感知机训练进行预测，完成模态对齐；S2对模态中的特征数据打上标签，结合特征数据合成特征向量；S3使用基于注意力机制，融合特征数据，构成模态向量；S4对已经对齐并融合的模态数据进行本地训练；S5上传本地训练模型至服务器，采用联邦学习框架进行聚合操作，并将模型分发给客户端进行下轮迭代直至模型收敛。本发明通过预测缺失模态与多模态数据融合，有效解决模态缺失时训练模型精度降低的问题，减轻了模态缺失对训练精度的影响，提高了联邦学习的可靠性。

公开(公告)号：CN119151020A

公开(公告)日：2024-12-17

申请号：CN202411669744.2

申请日：2024-11-21

Applicant: 南京邮电大学

Inventor： 尤洪利 ,  何昕 ,  马一凡 ,  丁皓阳 ,  周剑 ,  蔡惠

IPC: G06N20/00 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/08 ,  G06F18/213

Abstract: 本发明属于人工智能和机器学习领域，公开了一种具有鲁棒性的多模态联邦学习框架，包括：S1获取缺失模态，筛选出和缺失模态相关性强的模态，采用多层感知机训练进行预测，完成模态对齐；S2对模态中的特征数据打上标签，结合特征数据合成特征向量；S3使用基于注意力机制，融合特征数据，构成模态向量；S4对已经对齐并融合的模态数据进行本地训练；S5上传本地训练模型至服务器，采用联邦学习框架进行聚合操作，并将模型分发给客户端进行下轮迭代直至模型收敛。本发明通过预测缺失模态与多模态数据融合，有效解决模态缺失时训练模型精度降低的问题，减轻了模态缺失对训练精度的影响，提高了联邦学习的可靠性。