公开(公告)号：CN120088469A

公开(公告)日：2025-06-03

申请号：CN202410214955.0

申请日：2024-02-27

Applicant: 中国科学院信息工程研究所

Inventor： 王川 ,  杨嘉瑞 ,  张三义 ,  操晓春

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06N3/045 ,  G06N3/09

Abstract: 本发明属于计算机视觉场景内容理解领域，特别涉及一种图像级全景场景图生成方法和系统。该方法包括：在训练阶段，利用全景分割模型获取高置信度的候选物体集合，利用候选物体集合得到初始候选物体特征和初始候选关系特征并对其进行特征融合，然后通过分类器网络得到物体和关系的预测结果；在推理阶段，对高置信度的候选物体进行关系预测，使用关系预测结果微调全景分割模型，得到物体分割结果。在训练阶段，本发明引入候选匹配方案，从而回避了“有限的物体分割数量”这个问题，提供了更多的关系训练样本；在推理阶段，本发明从关系约束的角度缓解了“分割误差传递问题”。

公开(公告)号：CN120088590A

公开(公告)日：2025-06-03

申请号：CN202410214983.2

申请日：2024-02-27

Applicant: 中国科学院信息工程研究所

Inventor： 王川 ,  杨嘉瑞 ,  张三义 ,  操晓春

IPC: G06V10/77 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/25 ,  G06V10/30 ,  G06N3/045 ,  G06N3/08 ,  G06N3/0895

Abstract: 本发明属于计算机视觉场景内容理解领域，特别涉及一种图像级场景图生成方法和系统。该方法包括：将图像输入到目标检测模型中，得到候选物体；根据得到的候选物体计算初始候选物体特征和初始候选关系特征；将初始候选物体特征和初始候选关系特征输入到自适应消息传递网络中进行特征的上下文聚合，得到聚合关系特征；利用聚合关系特征，采用双级课程学习训练策略加强低频关系的特征学习，实现场景图预测的去混淆和去偏差。本发明从更有区分度的特征能够保证更好的分类这个角度出发，为消息传递和无偏预测两个层级设计了场景图自适应特征学习的方法，能够自适应地聚合有效的结点信息同时抑制可能存在的噪声，能够实现场景图预测的去混淆和去偏差。

公开(公告)号：CN116704398A

公开(公告)日：2023-09-05

申请号：CN202310454011.6

申请日：2023-04-25

Applicant: 中国科学院信息工程研究所

Inventor： 张三义 ,  张宇锟 ,  王川 ,  操晓春

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种全方位、多信息融合的短视频价值评估方法。本发明利用训练集训练短视频价值评估模型，所述短视频价值评估模型包括多模态特征提取模块、多模态特征融合模块和短视频流量预测模块；本发明对短视频作者姓名、作者签名、视频标题、作者头像、视频封面、视频内容等多方面进行特征学习、表达融合，形成短视频的统一表达，并对短视频的点赞、转发、评论热度进行预估，实现对短视频的市场价值、内容价值等版权价值的有效预测，提升短视频平台的视频质量，增强短视频平台的流量热度，创造更高的经济价值。