-
公开(公告)号:CN114386428B
公开(公告)日:2025-05-06
申请号:CN202111537463.8
申请日:2021-12-15
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F40/30 , G06F40/289 , G06F16/334 , G06T11/60
Abstract: 本发明提供了一种基于本体知识库和注意力生成对抗网络的图像生成方法,包括:基于图像数据集中的图像来构建本体知识库,使得构建出的本体知识库与图像具有对应关系;根据生成任务的条件,进行本体知识库的检索,并将检索到的信息进行向量化,得到语义词向量;使用带有注意力机制的生成对抗网络,根据语义词向量,来生成图像。采用本发明提供的网络,可通过构建不同的本体知识库完成复杂条件下高质量图像的生成任务。
-
公开(公告)号:CN112749660B
公开(公告)日:2024-06-28
申请号:CN202110044445.X
申请日:2021-01-13
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种视频内容描述信息的生成方法和设备,该方法包括:获取目标视频的图像序列;将图像序列划分为多个子图像序列;多个子图像序列中任意连续两个子图像序列对应不同的场景;针对多个子图像序列中每个子图像序列:根据已训练的第一检测模型对当前子图像序列的首帧图像进行检测,得到对应的静态场景描述信息;根据已训练的第二检测模型对当前子图像序列中除首帧图像之外的图像进行检测,得到对应的动态事件描述信息;根据静态场景描述信息和动态事件描述信息,确定当前子图像序列对应的内容描述信息。如此,不仅可以降低视频理解的难度,还可以减少冗余信息提取,从而可以提高计算效率。
-
公开(公告)号:CN114386428A
公开(公告)日:2022-04-22
申请号:CN202111537463.8
申请日:2021-12-15
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F40/30 , G06F40/289 , G06F16/33 , G06T11/60
Abstract: 本发明提供了一种基于本体知识库和注意力生成对抗网络的图像生成方法,包括:基于图像数据集中的图像来构建本体知识库,使得构建出的本体知识库与图像具有对应关系;根据生成任务的条件,进行本体知识库的检索,并将检索到的信息进行向量化,得到语义词向量;使用带有注意力机制的生成对抗网络,根据语义词向量,来生成图像。采用本发明提供的网络,可通过构建不同的本体知识库完成复杂条件下高质量图像的生成任务。
-
公开(公告)号:CN112749660A
公开(公告)日:2021-05-04
申请号:CN202110044445.X
申请日:2021-01-13
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种视频内容描述信息的生成方法和设备,该方法包括:获取目标视频的图像序列;将图像序列划分为多个子图像序列;多个子图像序列中任意连续两个子图像序列对应不同的场景;针对多个子图像序列中每个子图像序列:根据已训练的第一检测模型对当前子图像序列的首帧图像进行检测,得到对应的静态场景描述信息;根据已训练的第二检测模型对当前子图像序列中除首帧图像之外的图像进行检测,得到对应的动态事件描述信息;根据静态场景描述信息和动态事件描述信息,确定当前子图像序列对应的内容描述信息。如此,不仅可以降低视频理解的难度,还可以减少冗余信息提取,从而可以提高计算效率。
-
-
-