公开(公告)号：CN118332498A

公开(公告)日：2024-07-12

申请号：CN202410498445.0

申请日：2024-04-24

Applicant: 广东电网有限责任公司珠海供电局 ,  南方电网科学研究院有限责任公司

Inventor： 顾延勋 ,  高超 ,  林晓明 ,  李振聪 ,  张帆 ,  钱利宏 ,  廖雁群 ,  郭晓燕 ,  胡烈良 ,  刘红燕 ,  赵紫辉 ,  胡大鹏 ,  赵嘉 ,  潘才煌 ,  符美静

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/22

Abstract: 本申请公开了一种车‑桩‑网跨平台多模态异构数据融合方法及系统，通过欧拉公式将模态编码器产生的特征嵌入向量，从实向量空间映射到复向量空间；通过线性层对映射后的特征嵌入向量进行压缩，并对压缩后的特征执行串联运算，从而将真实特征和想象特征合并得到新特征用于模型训练；在模型多模态学习的训练过程中，通过引入余弦相似性作为约束特征相位的机制，使得相邻模态的优化方向逐渐接近，通过交叉熵损失来计算每个模态的logits损失得到损失值，并根据损失值对多模态学习的训练过程的优化方向进行修正，解决了多模态学习中模态不平衡带来的问题，从而显著提高模型性能。