-
公开(公告)号:CN112750175B
公开(公告)日:2022-07-08
申请号:CN202110038512.7
申请日:2021-01-12
申请人: 山东师范大学
摘要: 本公开提供了一种基于八度卷积和语义分割的图像压缩方法及系统,所述方案包括:利用预训练的语义分割网络生成原始图像的语义分割图;将所述语义分割图和原始图像作为第一组八度卷积网络的输入,生成图像的压缩表示;对所述压缩表示进行上采样,并将其与所述语义分割图作为第二组八度卷积网络的输入,得到原始图像估计值;计算原始图像与所述原始图像估计值间的残差,并对所述残差进行有损编码,将原始图像估计值与解码后的残差图像相加,得到最终的重建图像。通过将语义分割图的输入可以指导图像空间上的比特流的分配,利用八度卷积网络针对图像空间中的高频信息和低频信息进行单独优化,在保证压缩率的同时,可以有效合成高质量、高细节的图像。
-
公开(公告)号:CN112750175A
公开(公告)日:2021-05-04
申请号:CN202110038512.7
申请日:2021-01-12
申请人: 山东师范大学
摘要: 本公开提供了一种基于八度卷积和语义分割的图像压缩方法及系统,所述方案包括:利用预训练的语义分割网络生成原始图像的语义分割图;将所述语义分割图和原始图像作为第一组八度卷积网络的输入,生成图像的压缩表示;对所述压缩表示进行上采样,并将其与所述语义分割图作为第二组八度卷积网络的输入,得到原始图像估计值;计算原始图像与所述原始图像估计值间的残差,并对所述残差进行有损编码,将原始图像估计值与解码后的残差图像相加,得到最终的重建图像。通过将语义分割图的输入可以指导图像空间上的比特流的分配,利用八度卷积网络针对图像空间中的高频信息和低频信息进行单独优化,在保证压缩率的同时,可以有效合成高质量、高细节的图像。
-
公开(公告)号:CN112559698A
公开(公告)日:2021-03-26
申请号:CN202011205724.1
申请日:2020-11-02
申请人: 山东师范大学
IPC分类号: G06F16/332 , G06K9/00 , G06K9/62 , G06F40/289 , G06N3/04
摘要: 本公开提供了一种基于多模态融合模型的提高视频问答精度方法及系统,包括:采集视频数据和问题特征,获取视频问答的问题;从视频数据中提取视觉特征和字幕特征;将视觉特征和字幕特征进行融合处理,获得融合视觉特征和融合字幕特征;将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练,获得训练好的多模态融合模型;将视频问答的问题输入训练好的多模态融合模型,获得问题答案;根据问题的特点针对不同的问题聚焦不同的目标实体实例,提高了模型选择答案的准确性。
-
公开(公告)号:CN112559698B
公开(公告)日:2022-12-09
申请号:CN202011205724.1
申请日:2020-11-02
申请人: 山东师范大学
IPC分类号: G06F16/332 , G06V20/40 , G06V10/80 , G06V10/82 , G06F40/289 , G06N3/04
摘要: 本公开提供了一种基于多模态融合模型的提高视频问答精度方法及系统,包括:采集视频数据和问题特征,获取视频问答的问题;从视频数据中提取视觉特征和字幕特征;将视觉特征和字幕特征进行融合处理,获得融合视觉特征和融合字幕特征;将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练,获得训练好的多模态融合模型;将视频问答的问题输入训练好的多模态融合模型,获得问题答案;根据问题的特点针对不同的问题聚焦不同的目标实体实例,提高了模型选择答案的准确性。
-
公开(公告)号:CN118364187A
公开(公告)日:2024-07-19
申请号:CN202410703307.1
申请日:2024-06-03
申请人: 山东师范大学
IPC分类号: G06F16/9536 , G06Q50/00 , G06N3/042 , G06N3/08
摘要: 本申请涉及一种基于社交重要性和项目种类信息的社交推荐系统性能优化方法,本方法基于图神经网络实现,在用户社交网络图SG、用户‑项目图UIG和项目‑种类图ICG的基础上,建立冷启动用户的相似用户模型、社交重要性模型、项目种类信息模型,通过上述模型对用户‑项目全局信息进行融合,融合后通过预测模型对未交互项目进行预测评分,最终对用户完成项目推荐。本申请显著增强了普通用户和冷启动用户的偏好嵌入表示,丰富了用户的语义表征,为用户和项目提供了更加丰富的语义内涵。
-
-
-
-