一种基于多模态知识图谱的图像场景检索系统及方法

    公开(公告)号:CN111694965A

    公开(公告)日:2020-09-22

    申请号:CN202010478948.3

    申请日:2020-05-29

    Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统,通过用户界面输入检索信息并获取检索结果,包括:场景采集模块,设置为采集若干包含不同目标对象的图像场景;场景解析模块,设置为对采集的图像进行场景理解,得到不同目标对象及其之间的关系;多模态数据管理模块,设置为对目标对象及其之间的关系进行存储与查询;检索交互模块,设置为从检索信息提取关键词,并获取与关键词对应的节点信息,最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法,能够降低存储涉及多幅图像场景结果的难度,简单直观且全面地展示出目标对象及其之间的关系。同时,本发明提高检索的准确性和场景检索的效率。

    一种确定事件图谱的方法、装置、电子设备及存储介质

    公开(公告)号:CN111027376A

    公开(公告)日:2020-04-17

    申请号:CN201911041152.5

    申请日:2019-10-28

    Abstract: 本申请实施例所公开的一种确定事件图谱的方法、装置、电子设备及存储介质,该方法包括对视频流进行采样,得到图片序列,图片序列中的图片带有时间参数,从图片序列中确定带有第一时间参数的参考图片,以及确定带有第二时间参数的目标图片,参考图片和目标图片为图片序列中相邻的两张图片,第一时间参数早于第二时间参数,从参考图片中识别参考对象集合,以及从目标图片中识别目标对象集合,根据参考对象集合中的参考对象,确定目标对象集合中的目标对象在第二时间参数上的状态变化信息,并根据目标对象、第二时间参数和状态变化信息,确定事件图谱。基于本申请实施例,能够降低存储动态场景理解信息的难度、简化对象状态变化确定的过程。

    一种基于多模态知识图谱的图像场景检索系统及方法

    公开(公告)号:CN111694965B

    公开(公告)日:2023-06-13

    申请号:CN202010478948.3

    申请日:2020-05-29

    Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统,通过用户界面输入检索信息并获取检索结果,包括:场景采集模块,设置为采集若干包含不同目标对象的图像场景;场景解析模块,设置为对采集的图像进行场景理解,得到不同目标对象及其之间的关系;多模态数据管理模块,设置为对目标对象及其之间的关系进行存储与查询;检索交互模块,设置为从检索信息提取关键词,并获取与关键词对应的节点信息,最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法,能够降低存储涉及多幅图像场景结果的难度,简单直观且全面地展示出目标对象及其之间的关系。同时,本发明提高检索的准确性和场景检索的效率。

Patent Agency Ranking