基于组伪标签学习的半监督多模态情感识别方法及系统

    公开(公告)号:CN118503913A

    公开(公告)日:2024-08-16

    申请号:CN202410684709.1

    申请日:2024-05-30

    Abstract: 本发明涉及多模态情感识别技术领域,具体涉及一种基于组伪标签学习的半监督多模态情感识别方法及系统,包括获取有标签训练数据,并基于有标签训练数据训练学生模型,得到第一学生模型;获取无标签数据,并将其输入到教师模型和学生模型中进行训练,过程中,教师模型加载第一学生模型的模型参数,并对无标签数据进行预测生成第一预测数据、以及预测伪标签,学生模型基于预测伪标签进行预测生成第二预测数据,基于第一、二预测数据进行一致性学习,以提高教师、学生模型的预测相似性,其中,预测伪标签基于每个模态下的多模态、单模态伪标签之间的一致性损失加以约束所确定;训练结束后,输出目标学生模型,并基于目标学生模型进行多模态情感识别。

    一种基于Transformer的抗噪声多模态情感识别方法

    公开(公告)号:CN116340855A

    公开(公告)日:2023-06-27

    申请号:CN202310328733.7

    申请日:2023-03-27

    Abstract: 本发明提供了一种基于Transformer的抗噪声多模态情感识别方法,将给定预先计算好的多模态序列信息作为输入U;增加噪声至输入U,然后输入至全连接层g后,得到包含噪声的多模态输入U′;通过NRGF提取器和MF提取器从多模态输入U′中分别提取抗噪通用特征NRGFs和多模态特征MFs;使用噪声感知学习机制,采用多模态Transformer,对提取到的抗噪通用特征NRGFs和多模态特征MFs进行融合;对Transformer的输出应用情感分类层,最终的情感识别输出本发明的有益效果是:显著提高了情感识别的准确性。

    一种基于景点聚类和群体情感识别的旅游景点推荐系统

    公开(公告)号:CN112257517B

    公开(公告)日:2023-04-21

    申请号:CN202011058628.9

    申请日:2020-09-30

    Abstract: 本发明提供了一种基于景点聚类和群体情感识别的旅游景点推荐系统,包括:数据采集模块、数据库、景点聚类模块、情感计算模块、景点情感与景点类型关系建模及分析模块、景点推荐模块以及服务显示模块。本发明的有益效果是:该系统基于多项人工智能技术,对游客分享的景点照片进行情感分析和计算,为旅游者提供丰富而真实的景点体验数据,按照景点类型进行推荐,充分考虑了由于景点类型造成的景点情感分数的影响,丰富了用户的景点选择参考信息,帮助旅游者更好的做出旅游决策。

    一种面向复杂场景的域适应交通目标检测与识别方法

    公开(公告)号:CN112395951B

    公开(公告)日:2022-06-24

    申请号:CN202011144693.3

    申请日:2020-10-23

    Abstract: 本发明提供一种面向复杂场景的域适应交通目标检测与识别方法,首先,提出双向注意力特征提取模块,同时从两个方向对输入图像进行特征提取,这种结构可规避前馈过程中的特征损失,然后,提出域适应学习部分,包括两级域匹配模块和图原型匹配模块。在特征提取网络的中间层和最后层,分别连接两级域匹配模块。其中,像素级别域匹配模块包括梯度反转块GRB和像素级域分类器D1,全局级别域匹配模块包括GRB和全局级域分类器D2,在分类和回归网络之后加入图原型匹配模块,分别从源域和目标域的检测结果中抽取出类别原型并将两者匹配,以解决域间实例和类别的匹配问题,实现从普通场景到极端天气场景的适应。本发明采用一致性联合训练方法。

    融合多元上下文信息的个性化地点推荐方法及设备

    公开(公告)号:CN108897750A

    公开(公告)日:2018-11-27

    申请号:CN201810401431.7

    申请日:2018-04-28

    Abstract: 本发明提供了融合多元上下文信息的个性化地点推荐方法及设备,包括:1、获取地理标签照片数据;2、地理标签照片多元上下文信息挖掘,通过对地点流行度、地点流行度波动、空间距离、基于用户的协同过滤以及基于用户评论的文本相似度等上下文信息的评估,分别计算出其对应的分数;3、基于排序学习的个性化地点推荐模型,在对个性化地点推荐问题进行转化的基础上,构建“用户-地点”相关性特征向量,并采用排序学习方法建立地点推荐模型;4、根据3中模型,选取预测值排名前n个性化地点进行推荐,生成推荐结果并对推荐结果进行评价。本发明可以有效提高个性化地点推荐的准确率和召回率。

    一种面向小数据集的高分辨率遥感影像场景分类的方法

    公开(公告)号:CN107220657A

    公开(公告)日:2017-09-29

    申请号:CN201710325405.6

    申请日:2017-05-10

    CPC classification number: G06K9/6268 G06K9/4604 G06K9/629

    Abstract: 本发明实施例公开了一种面向小数据集的高分辨率遥感影像场景分类的方法,建立了一个三个尺度、三个通道的端对端多尺度卷积联合神经网络模型。本方法共分为三个步骤,步骤一将图像尺寸大小为N×N的遥感影像,按照三个尺度进行随机子区域提取,提取后图像子区域大小分别为N/2×N/2、N/4×N/4和N/8×N/8,作为多通道卷积特征提取器输入;步骤二,建立一种融合多尺度和多通道的特征联合网络,将不同尺度的特征进行两两融合增强,实现高层特征的联合增强表达;步骤三,联合损失函数对场景的联合增强的高层特征进行分类。本发明实现在小样本训练集上的高精度分类,在小样本数据集中的高层特征表达能力和计算速度显著提高。

    一种基于街景图像的土地利用分类方法及系统

    公开(公告)号:CN113469226B

    公开(公告)日:2022-09-30

    申请号:CN202110668680.4

    申请日:2021-06-16

    Abstract: 本发明涉及土地分类领域,提供一种基于街景图像的土地利用分类方法及系统,包括:获得处理后的街景图像数据和处理后的土地地块数据;将处理后的街景图像数据输入训练好的卷积神经网络,获取街景特征向量,通过街景特征向量计算获得输入地块节点嵌入表示向量;将街景特征向量和输入地块节点嵌入表示向量输入训练好的图卷积神经网络,获得输出地块节点嵌入表示向量;将输出地块节点嵌入表示向量输入训练好的土地利用分类器进行分类,获得地块的土地利用分类结果。本发明通过图神经卷积网络进行空间上下文信息交互克服了现有技术中存在的空间信息利用低效等问题。同时,本发明可以用于精确识别城市土地利用类别,为城市的科学发展制定合理的规划。

    基于U形CNN模型实现遥感图像的建筑实例掩模提取方法

    公开(公告)号:CN110110729B

    公开(公告)日:2022-08-30

    申请号:CN201910211894.1

    申请日:2019-03-20

    Abstract: 本发明提供了一种基于多尺度和多任务的U形CNN网络模型来实现遥感图像的建筑掩模提取方法,以实例分割方式实现高分辨率遥感图像在不同尺度下的精确建筑掩模提取。本发明提供的建筑掩模提取方法中运用了多尺度融合U形网络、区域建议关注网络和边缘约束损失的多任务网络,通过优化联合ECL等的多任务混合损失来快速收敛整个网络,从而抑制有限可用训练数据中的过度补偿。本发明在不同尺度上已经实现了优异的性能和强大的鲁棒性,在多种数据集上的精度显著提高。

    基于U形CNN模型实现遥感图像的建筑实例掩模提取方法

    公开(公告)号:CN110110729A

    公开(公告)日:2019-08-09

    申请号:CN201910211894.1

    申请日:2019-03-20

    Abstract: 本发明提供了一种基于多尺度和多任务的U形CNN网络模型来实现遥感图像的建筑掩模提取方法,以实例分割方式实现高分辨率遥感图像在不同尺度下的精确建筑掩模提取。本发明提供的建筑掩模提取方法中运用了多尺度融合U形网络、区域建议关注网络和边缘约束损失的多任务网络,通过优化联合ECL等的多任务混合损失来快速收敛整个网络,从而抑制有限可用训练数据中的过度补偿。本发明在不同尺度上已经实现了优异的性能和强大的鲁棒性,在多种数据集上的精度显著提高。

    一种基于移动端的多视角人脸表情识别方法

    公开(公告)号:CN109409222A

    公开(公告)日:2019-03-01

    申请号:CN201811102569.3

    申请日:2018-09-20

    Abstract: 本发明公开了一种基于移动端的多视角人脸表情识别方法,包括从每张图像中裁剪出人脸区域,并进行数据增强,得到用于训练AA-MDNet模型的数据集;利用GAN模型扩展得到多姿态数据集;利用ADN多尺度裁剪方法进行裁剪;将裁剪后的图像输入AA-MDNet模型,输入的图像先通过密集连接子网络DenseNet提取特征,然后基于提取到的特征,使用注意力自适应网络(ADN)进行训练,得到表情和姿态的注意力区域的位置参数,再根据位置参数从输入图像中裁剪出该区域的图像进行缩放,将其作为下一尺度的输入;学习多尺度的高层特征融合,得到具有全局和局部融合特征的表情高层特征,最后分类得到人脸姿态和表情类别。本发明在人机交互、人脸识别和计算机视觉等领域有十分重要的意义。

Patent Agency Ranking