公开(公告)号：CN114969430B

公开(公告)日：2025-05-06

申请号：CN202210429989.2

申请日：2022-04-22

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  左然 ,  刘舫 ,  陈科圻 ,  张拯明 ,  邓小明 ,  王宏安

IPC: G06F16/732 ,  G06F16/783 ,  G06V20/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0455

Abstract: 本发明公开了一种基于草图的场景级细粒度视频检索方法及系统，属于计算机视觉领域，通过提取草图特征，构建基于外观特征和类别特征的草图空间结构图；提取视频特征，构建基于视频时序信息、外观特征和类别特征的视频时空结构图，利用自适应帧采样策略进行视频帧采样，先对视频帧稀疏采样，再利用草图‑视频关联关系模型进行视频帧筛选，利用草图‑视频检索模型中完成视频细粒度检索。本发明将出现在不同时间段的物体压缩至同一张草图中，进行场景级的视频内容概括，检索出与草图背景元素、物体外观特征与动作类型均一致的视频。

公开(公告)号：CN116468886A

公开(公告)日：2023-07-21

申请号：CN202310215854.0

申请日：2023-03-01

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  张拯明 ,  左然 ,  邓小明 ,  王宏安

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/44 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明涉及一种基于笔画的场景草图语义分割方法和装置。该方法包括：提取场景草图中笔画的外观特征；使用笔画的外观特征作为输入，通过循环神经网络对笔画进行时序特征编码，得到时序特征；通过邻近笔画的位置关系构建笔画之间的图结构，将每个笔画的时序特征作为图的节点，同时计算笔画之间的邻近关系得到邻接矩阵，通过图卷积神经网络对笔画进行空间特征编码，得到空间特征；对时序特征和空间特征进行融合，根据融合后的特征对每条笔画进行类别预测，完成基于笔画的场景草图语义分割。本发明通过融合外观、时序、空间三个不同层次的特征，能够对场景草图中的每条笔画进行分类识别，实现基于笔画特征的场景草图语义分割。

公开(公告)号：CN114969430A

公开(公告)日：2022-08-30

申请号：CN202210429989.2

申请日：2022-04-22

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  左然 ,  刘舫 ,  陈科圻 ,  张拯明 ,  邓小明 ,  王宏安

IPC: G06F16/732 ,  G06F16/783 ,  G06N3/04 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于草图的场景级细粒度视频检索方法及系统，属于计算机视觉领域，通过提取草图特征，构建基于外观特征和类别特征的草图空间结构图；提取视频特征，构建基于视频时序信息、外观特征和类别特征的视频时空结构图，利用自适应帧采样策略进行视频帧采样，先对视频帧稀疏采样，再利用草图‑视频关联关系模型进行视频帧筛选，利用草图‑视频检索模型中完成视频细粒度检索。本发明将出现在不同时间段的物体压缩至同一张草图中，进行场景级的视频内容概括，检索出与草图背景元素、物体外观特征与动作类型均一致的视频。