-
公开(公告)号：CN111061915B
公开(公告)日：2023-04-18
申请号：CN201911301387.3
申请日：2019-12-17
Applicant: 中国科学技术大学
IPC: G06V20/40 , G06V10/80 , G06V10/82 , G06V10/764 , G06V10/778 , G06N3/047 , G06N3/084
Abstract: 本发明公开了一种视频人物关系识别方法，结合视觉信息以及丰富的文本信息，能够准确的的识别视频中任务之间的社交关系；在电影数据集上进行了人物社交关系的识别验证，结果表明该方案在客观评价指标上取得了突出的效果。
-
公开(公告)号：CN112287175A
公开(公告)日：2021-01-29
申请号：CN202011183864.3
申请日：2020-10-29
Applicant: 中国科学技术大学
IPC: G06F16/783 , G06K9/00 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种视频高亮片段预测方法和系统，方法包括：获取视频数据，将视频数据划分为固定长度的视频片段，并在训练数据上标记出高亮片段；使用神经网络从每个视频片段中分别提取出视觉特征和听觉情感特征；对视觉特征和听觉情感特征进行模态内与跨模态的融合，得到融合特征；基于融合特征对视频片段进行评分；使用成对的高亮‑非高亮片段组合，以及相应的损失函数训练模型；基于模型的训练结果选择合适的参数，对长视频中的所有片段进行评分，根据评分结果预测出视频高亮片段。本发明通过使用声音中蕴含的情感信息来强化视觉和听觉的联合建模过程，可以从难以进行人工标注的、缺少语义信息和细粒度标签的长视频数据中预测高亮片段。
-
公开(公告)号：CN112287175B
公开(公告)日：2024-02-13
申请号：CN202011183864.3
申请日：2020-10-29
Applicant: 中国科学技术大学
IPC: G06F16/783 , G06V10/80 , G06V20/40 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种视频高亮片段预测方法和系统，方法包括：获取视频数据，将视频数据划分为固定长度的视频片段，并在训练数据上标记出高亮片段；使用神经网络从每个视频片段中分别提取出视觉特征和听觉情感特征；对视觉特征和听觉情感特征进行模态内与跨模态的融合，得到融合特征；基于融合特征对视频片段进行评分；使用成对的高亮‑非高亮片段组合，以及相应的损失函数训练模型；基于模型的训练结果选择合适的参数，对长视频中的所有片段进行评分，根据评分结果预测出视频高亮片段。本发明通过使用声音中蕴含的情感信息来强化视觉和听觉的联合建模过程，可以从难以进行人工标注的、缺少语义信息和细粒度标签的长视频数据中预测高亮片段。
-
公开(公告)号：CN111061915A
公开(公告)日：2020-04-24
申请号：CN201911301387.3
申请日：2019-12-17
Applicant: 中国科学技术大学
IPC: G06F16/783 , G06F16/738 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种视频人物关系识别方法，结合视觉信息以及丰富的文本信息，能够准确的的识别视频中任务之间的社交关系；在电影数据集上进行了人物社交关系的识别验证，结果表明该方案在客观评价指标上取得了突出的效果。
-
-
-
Search Results
4
records
(took 0.018 seconds)
