-
公开(公告)号:CN119068206B
公开(公告)日:2025-03-04
申请号:CN202411578788.4
申请日:2024-11-07
Applicant: 中国海洋大学
Abstract: 本发明属于视觉问答技术领域,公开了一种基于高阶知识增强的海洋遥感视觉问答方法,包括:步骤S1、提取单模态特征;步骤S2、提取多模态特征:利用跨模态局部约束注意力生成高阶的跨模态特征,并输入关注选择块,得到多模态特征;步骤S3、提取知识增强实体关联表示:通过知识增强实体关联模块识别图像‑问题对中的视觉和文本实体,并采用知识相关性推理策略来学习知识增强的实体表示,然后对实体融合获得知识增强实体关联表示;步骤S4、生成视觉问答结果:将步骤S2生成的多模态特征与步骤S3生成的知识增强实体关联表示连接起来形成生成答案的表示。通过本发明可以有效提取上下文图像‑问题对信息,生成准确的视觉问答结果。
-
公开(公告)号:CN119539093A
公开(公告)日:2025-02-28
申请号:CN202510104910.2
申请日:2025-01-23
Applicant: 中国海洋大学
IPC: G06N5/04 , G06F18/25 , G06F18/213 , G06N3/0455 , G06V10/44
Abstract: 本申请涉及图像处理领域,公开了基于遥感篡改图像的视觉问答方法、系统、设备及介质,包括:通过主分支网络对篡改图像进行视觉特征提取,边缘先验引导块对各层编码器的输入特征进行特征提取;通过先验分支对图像进行边缘检测获得边缘先验特征,边缘先验特征与每个边缘先验引导块中的输入特征融合后输出,作为下一个边缘先验引导块的输入特征进行视觉特征提取;通过边缘先验特征引导,对输入文本进行特征提取,将提取的视觉特征和文本特征跨模态融合;根据融合后的特征,进行多模态推理,输出问答结果;本申请通过引入先验分支以给主分支提供边缘先验特征,显著恢复并加强了复制‑移动篡改图像的边缘伪影,提高篡改图像分析和理解准确性。
-
公开(公告)号:CN119474827A
公开(公告)日:2025-02-18
申请号:CN202510032019.2
申请日:2025-01-09
Applicant: 中国海洋大学
IPC: G06F18/213 , G06N3/0442 , G06N3/08 , G06N3/0464 , G01C13/00
Abstract: 本发明属于海温预测技术领域,公开了物理信息与数据驱动双流耦合海表面温度预测方法及系统,包括步骤S1、物理信息数据驱动双流耦合;步骤S2、物理方程约束;步骤S3、双流损失计算;本发明将多个物理特征作为输入,设计了物理信息数据驱动双流耦合模块,分离了物理信息和数据驱动的相互影响,自行学习海洋表面温度的变化规律,提高了海表面温度预测的准确性。
-
公开(公告)号:CN118862002B
公开(公告)日:2025-01-28
申请号:CN202411345172.2
申请日:2024-09-26
Applicant: 中国海洋大学
IPC: G06F18/25 , G06V10/80 , G06N5/04 , G06V10/82 , G06N3/042 , G06N3/0455 , G06N3/0464 , G06N3/09
Abstract: 本发明属于视觉问答技术领域,公开了面向遥感视觉问答的位置和语义优化方法及系统,分为文本流和海洋遥感图像流,包括以下步骤:步骤S1、输入海洋遥感图像和文本;步骤S2、跨模态语境融合:通过交叉模态位置约束注意力机制来整合文本和海洋遥感图像信息,生成交叉模态特征;步骤S3、语义推理:通过语义图Transformer提取语义图Gs中的语义信息,得到最后的细化语义信息;最后输出预测分类头,得到预测答案。通过本发明增强视觉问答系统的对多阶知识的感知,增强推理能力,获得准确的预测结果。
-
公开(公告)号:CN119107261A
公开(公告)日:2024-12-10
申请号:CN202411219985.7
申请日:2024-09-02
Applicant: 中国海洋大学
Abstract: 本发明属于图像处理技术领域,公开基于缺失关联和物理约束的海表面温度补全方法及系统,所述系统包括海表面温度数据获取模块、预处理模块、生成器、判别器和损失计算模块,生成器包括多尺度自适应缺失关联模块和物理约束时空交互引导模块,多尺度自适应缺失关联模块包括时空特征提取器和动态多层级上下采样器,时空特征提取器进行时空相关性特征提取,然后将其输出送入动态多层级上下采样器进行图像重构补全;物理约束时空交互引导模块用于通过数值模式海表面温度数据对多尺度自适应缺失关联模块重构补全的特征进行订正与物理约束嵌入,输出完整的重构图像;通过本发明提高海温图像补全的准确性和可靠性。
-
公开(公告)号:CN113536116B
公开(公告)日:2023-11-28
申请号:CN202110728906.5
申请日:2021-06-29
Applicant: 中国海洋大学
IPC: G06F16/9535 , G06F18/2411 , G06F18/214
Abstract: 本发明属于跨域推荐技术领域,公开了基于双流sliced wasserstein自编码器的跨域推荐方法,将数据输入到跨域推荐模型的编码器中,经过编码器可以得到用户隐空间上的特征向量,将上述的特征向量输入到跨域推荐模型的解码器中,得到重构的用户交互向量,对两个域用户特征向量加以高斯分布的限制,同时使用Sliced Wasserstein距离来缓解分布不平衡的问题,达到高精度的推荐效果,解决现有跨域推荐存在的数据稀疏性问题以及变分自编码器带来的分布不对齐问题。
-
公开(公告)号:CN114972857A
公开(公告)日:2022-08-30
申请号:CN202210545574.1
申请日:2022-05-19
Applicant: 中国海洋大学
IPC: G06V10/764 , G06N3/04 , G06N3/08 , G06V10/44 , G06V10/74 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明属于图像处理技术领域,公开了双分支源与目标定位复制移动检测网络及方法,该网络包括操纵检测分支和相似性检测分支,操纵检测分支包括操纵检测主干和边缘辅助分支,相似性检测分支包括VGG16编码器的前三个块、空洞卷积层、相似性匹配模块、ASPP多尺度模块和掩膜解码器;通过操纵检测分支的操纵检测主干提取图像信息表征,并生成篡改区域掩膜;经过操纵检测分支的边缘辅助分支优化边缘;通过相似性检测分支的相似性匹配模块对第三层的输出和空洞卷积层的输出进行自相关匹配,经过ASPP多尺度模块提取多尺度相关信息,生成相似区域掩膜;最后篡改区域掩膜和相似区域掩膜融合。通过本发明提高检测效果。
-
-
-
-
-
-