基于自监督学习的多源异构图像分割方法

    公开(公告)号:CN119399471A

    公开(公告)日:2025-02-07

    申请号:CN202411502365.4

    申请日:2024-10-25

    Inventor: 白茹 荆钧尧 雷芬

    Abstract: 本申请的实施例涉及图像处理技术领域,特别涉及一种基于自监督学习的多源异构图像分割方法,包括:采集多源异构样本图像并在通道维度上进行叠加,得到多通道样本输入数据;构建由空间分支网络和通道分支网络组成的多源异构图像分割模型,空间分支网络和通道分支网络分别处理多通道样本输入数据,得到空间重建特征和通道重建特征,以构建掩码损失函数;将可见光样本图像和雷达样本图像作为正样本对,并分别进行投影变换和预测变换,得到可见光对比特征和雷达对比特征,以构建对比损失函数;基于掩码损失函数和对比损失函数构建总损失函数,对模型进行迭代训练至收敛,得到训练完成的模型,以应用于分割任务,实现对多源异构图像的高精度分割。

    一种多模态情感识别方法、系统、电子设备和存储介质

    公开(公告)号:CN119397356A

    公开(公告)日:2025-02-07

    申请号:CN202411518263.1

    申请日:2024-10-29

    Inventor: 荆钧尧 白茹

    Abstract: 本申请的实施例涉及情感识别技术领域,特别涉及一种多模态情感识别方法、系统、电子设备和存储介质,包括:通过毫米波雷达获取由语音样本数据、图像样本数据和文本样本数据组成的多模态样本数据并标注情感标签;构建由图像特征提取分支网络、语音特征提取分支网络、文本特征提取分支网络、融合网络、残差网络和判别网络组成的多模态情感识别模型;基于模型输出的对多模态样本数据的情感类别识别结果以及多模态样本数据上标注的情感标签,对模型进行迭代训练至收敛,得到训练完成的模型;通过毫米波雷达获取待识别对象的多模态数据并输入至训练完成的模型中,获取对待识别对象的情感类别识别结果。该方法有效提升了情感识别的准确率。

Patent Agency Ranking