-
公开(公告)号:CN119129607B
公开(公告)日:2025-01-24
申请号:CN202411607569.4
申请日:2024-11-12
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/25 , G06F18/241 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0985
Abstract: 本发明提供了一种多模态方面级情感分析方法及系统,所述方法包括:获取多模态数据集,使用文本预训练模型得到文本的特征表示,使用目标检测模型得到区域图片的特征表示,通过Transformer模型获取图片的区域级视觉特征;通过跨模态Transformer层对文本特征与区域级视觉特征之间的交互进行建模,生成视觉过滤矩阵以去除视觉噪声。通过跨模态注意力机制,将区域级视觉特征与最相关的文本信息进行对齐,利用自适应门控机制融合有效的区域单词对;基于图片文本关系对特征进行筛选与过滤,通过输出层实现情感分类。本发明充分考虑语境对情感分析的影响,通过深度过滤和融合特征,有效去除冗余,准确识别不同语境下的情感倾向。
-
公开(公告)号:CN118504427A
公开(公告)日:2024-08-16
申请号:CN202410956611.7
申请日:2024-07-17
Applicant: 南京信息工程大学
IPC: G06F30/27
Abstract: 本发明提供了一种遥感图像精确分割方法,包括:获取高分辨率遥感图像数据并进行预处理,将高分辨率遥感图像切割为小图像块,划分为训练集、验证集和测试集;构建基于Poly衰减学习率策略的遥感图像分割模型交叉上下文频域表示学习模型CCRF‑UNet;对模型进行训练和验证,优化训练网络参数,得到训练完成的遥感图像分割模型;将测试集输入到训练完成的遥感图像分割模型中,输出分割结果。本发明有效利用交叉注意力和上下文融合模块,增强模型的信息提取能力,有效减少了空间信息及语义信息的丢失;通过使用十字交叉频域权重学习模块引入频域信息,能够提高对图像纹理和轮廓的分割能力;实现了遥感图像分割效果的提升。
-
公开(公告)号:CN119622280B
公开(公告)日:2025-05-13
申请号:CN202510158857.4
申请日:2025-02-13
Applicant: 南京信息工程大学
IPC: G06F18/20 , G06F18/213 , G06F18/2431 , G06F18/25 , G06F18/27 , G06N3/0455 , G06N3/0499 , G06N3/0475 , G06N3/094 , G06F18/10 , G06F123/02
Abstract: 本发明提供了一种基于解缠表示学习的多模态情感分析方法,包括:获取多模态情感分析数据集,并提取文本、音频和视频的特征;构建表征学习网络,提取私有特征和共享特征,并通过对抗学习优化及时间平滑度约束进行处理;在不同语言尺度的引导下,融合音频和视频的私有特征;通过跨模态注意力和门控机制进一步融合文本、音频和视频特征;最后将融合特征输入至情感分析模块,结合情感分类或回归任务,生成情感预测结果。本发明不仅考虑音频与视频特征在连续时间上的一致性,有效减少冗余信息并保证时间维度一致性,还在文本引导下实现音频和视频特征的深度融合,显著提升了跨模态融合的效果。
-
公开(公告)号:CN119861355A
公开(公告)日:2025-04-22
申请号:CN202510355759.X
申请日:2025-03-25
Applicant: 南京信息工程大学
Abstract: 本发明提供了一种基于数据融合的多波段雷达数据空间降尺度方法,包括:步骤1,从天气雷达中获取S波段和X波段观测数据;步骤2,对获取的观测数据进行数据预处理;步骤3,构建空间降尺度模型;步骤4,通过数据预处理后的观测数据对空间降尺度模型进行训练验证和测试;步骤5,根据训练好的空间降尺度模型进行S波段观测数据的空间降尺度;步骤6,判断生成的数据是否接近真实值。本发明能够借助深度学习神经网络,让模型提取并融合S波段观测数据与X波段观测数据的特征,将原本低分辨率的S波段数据转化为高分辨率数据,不但满足了实际应用中对雷达数据高分辨率的需求,还降低了对硬件设施的依赖。
-
公开(公告)号:CN119150975A
公开(公告)日:2024-12-17
申请号:CN202411651331.1
申请日:2024-11-19
Applicant: 南京信息工程大学
IPC: G06N5/022 , G06N5/02 , G06N3/0455 , G06N3/08 , G06F40/166 , G06F40/126
Abstract: 本发明提供了一种知识图谱补全的方法,旨在提升知识图谱补全的精确性与有效性。该方法首先获取并扩展知识图谱的三元组数据,通过生成逆三元组补充数据集。结合多种负样本生成技术提升模型对错误链接的识别能力,利用双文本编码器对三元组中的实体与关系进行文本嵌入学习。提出了可变形自适应注意力模块,对文本特征进行潜在特征捕获。通过计算文本嵌入的余弦相似性得分并添加路径推理增益得分,得到三元组相似性得分。使用具有裕度的信息噪声对比估计损失函数优化文本嵌入,有效提高补全效果。最终,使用训练后的知识图谱补全模型,完成三元组最大相似性匹配。本发明方法能够捕捉复杂的语义关联,增强知识图谱补全的精度和鲁棒性。
-
公开(公告)号:CN119622280A
公开(公告)日:2025-03-14
申请号:CN202510158857.4
申请日:2025-02-13
Applicant: 南京信息工程大学
IPC: G06F18/20 , G06F18/213 , G06F18/2431 , G06F18/25 , G06F18/27 , G06N3/0455 , G06N3/0499 , G06N3/0475 , G06N3/094 , G06F18/10 , G06F123/02
Abstract: 本发明提供了一种基于解缠表示学习的多模态情感分析方法,包括:获取多模态情感分析数据集,并提取文本、音频和视频的特征;构建表征学习网络,提取私有特征和共享特征,并通过对抗学习优化及时间平滑度约束进行处理;在不同语言尺度的引导下,融合音频和视频的私有特征;通过跨模态注意力和门控机制进一步融合文本、音频和视频特征;最后将融合特征输入至情感分析模块,结合情感分类或回归任务,生成情感预测结果。本发明不仅考虑音频与视频特征在连续时间上的一致性,有效减少冗余信息并保证时间维度一致性,还在文本引导下实现音频和视频特征的深度融合,显著提升了跨模态融合的效果。
-
公开(公告)号:CN119150975B
公开(公告)日:2025-02-25
申请号:CN202411651331.1
申请日:2024-11-19
Applicant: 南京信息工程大学
IPC: G06N5/022 , G06N5/02 , G06N3/0455 , G06N3/08 , G06F40/166 , G06F40/126
Abstract: 本发明提供了一种知识图谱补全的方法,旨在提升知识图谱补全的精确性与有效性。该方法首先获取并扩展知识图谱的三元组数据,通过生成逆三元组补充数据集。结合多种负样本生成技术提升模型对错误链接的识别能力,利用双文本编码器对三元组中的实体与关系进行文本嵌入学习。提出了可变形自适应注意力模块,对文本特征进行潜在特征捕获。通过计算文本嵌入的余弦相似性得分并添加路径推理增益得分,得到三元组相似性得分。使用具有裕度的信息噪声对比估计损失函数优化文本嵌入,有效提高补全效果。最终,使用训练后的知识图谱补全模型,完成三元组最大相似性匹配。本发明方法能够捕捉复杂的语义关联,增强知识图谱补全的精度和鲁棒性。
-
公开(公告)号:CN119129607A
公开(公告)日:2024-12-13
申请号:CN202411607569.4
申请日:2024-11-12
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/25 , G06F18/241 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0985
Abstract: 本发明提供了一种多模态方面级情感分析方法及系统,所述方法包括:获取多模态数据集,使用文本预训练模型得到文本的特征表示,使用目标检测模型得到区域图片的特征表示,通过Transformer模型获取图片的区域级视觉特征;通过跨模态Transformer层对文本特征与区域级视觉特征之间的交互进行建模,生成视觉过滤矩阵以去除视觉噪声。通过跨模态注意力机制,将区域级视觉特征与最相关的文本信息进行对齐,利用自适应门控机制融合有效的区域单词对;基于图片文本关系对特征进行筛选与过滤,通过输出层实现情感分类。本发明充分考虑语境对情感分析的影响,通过深度过滤和融合特征,有效去除冗余,准确识别不同语境下的情感倾向。
-
公开(公告)号:CN118504427B
公开(公告)日:2024-09-20
申请号:CN202410956611.7
申请日:2024-07-17
Applicant: 南京信息工程大学
IPC: G06F30/27
Abstract: 本发明提供了一种遥感图像精确分割方法,包括:获取高分辨率遥感图像数据并进行预处理,将高分辨率遥感图像切割为小图像块,划分为训练集、验证集和测试集;构建基于Poly衰减学习率策略的遥感图像分割模型交叉上下文频域表示学习模型CCRF‑UNet;对模型进行训练和验证,优化训练网络参数,得到训练完成的遥感图像分割模型;将测试集输入到训练完成的遥感图像分割模型中,输出分割结果。本发明有效利用交叉注意力和上下文融合模块,增强模型的信息提取能力,有效减少了空间信息及语义信息的丢失;通过使用十字交叉频域权重学习模块引入频域信息,能够提高对图像纹理和轮廓的分割能力;实现了遥感图像分割效果的提升。
-
-
-
-
-
-
-
-