公开(公告)号：CN117351231A

公开(公告)日：2024-01-05

申请号：CN202311384877.0

申请日：2023-10-24

Applicant: 上海交通大学

Inventor： 闵雄阔 ,  孙亦楠 ,  段慧煜 ,  张楷伟 ,  翟广涛

IPC: G06V10/46 ,  G06V10/42 ,  G06V10/80 ,  G06F18/213

Abstract: 本发明提供一种文本引导下的视觉显著性预测方法、系统、终端及介质，包括：提取图像的图像特征和图像对应的文本特征，其中文本特征包括全局文本特征和局部文本特征，利用全局特征融合模块融合全局文本特征和图像特征，通过局部特征融合模块将局部文本特征和图像特征进行融合，得到文本引导下视觉显著性预测图。在图像特征提取时，图像特征将转换为多尺度特征，之后局部特征融合模块利用这些特征融合得到多尺度信息。本发明可有效地预测文本引导下的视觉显著性图。

公开(公告)号：CN117437139A

公开(公告)日：2024-01-23

申请号：CN202311371569.4

申请日：2023-10-23

Applicant: 上海交通大学

Inventor： 翟广涛 ,  张楷伟 ,  闵雄阔 ,  孙亦楠 ,  段慧煜

IPC: G06T5/50 ,  G06V10/80 ,  G06T7/90 ,  G06V10/46 ,  G06T7/73

Abstract: 本公开提供一种基于合成图像的视觉显著性预测方法及系统，其中，基于合成图像的视觉显著性预测方法，包括：对合成图像的RGB图像进行特征提取处理，确定合成图像的多尺度特征；将合成图像的像素位置坐标进行编码处理，确定合成图像的空间位置坐标的正弦编码；采用信道对准方式和渐进求和方式对合成图像的多尺度特征和空间位置坐标的正弦编码进行融合处理，确定预测的合成图像的显著性图像。通过本公开，能够显著提高表示细粒度细节的性能，提高模型的表征能力，还提高合成人脸显著性预测的性能，有效预测合成人脸图像的显著性分布。