公开(公告)号：CN110083741B

公开(公告)日：2022-10-28

申请号：CN201910291983.1

申请日：2019-04-11

Applicant: 中国科学技术大学

Inventor： 徐童 ,  周培伦 ,  尹智卓 ,  刘东 ,  吕广奕 ,  陈恩红

IPC: G06F16/738 ,  G06F16/783 ,  G06V20/40 ,  G06V30/413 ,  G06V20/62 ,  G06F40/30 ,  H04N21/234 ,  H04N21/44 ,  H04N21/8549

Abstract: 本发明公开了一种文本与图像联合建模的面向人物的视频摘要提取方法，包括：对原始视频数据进行预处理，获得等间距的视频帧序列以及与原始视频数据相关的文本信息；利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息；根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域及对应文本信息所属的视频帧作为关键帧；根据时间相关性聚合所有关键帧，并补充一些过渡帧以形成流畅的视频片段，从而得到面向人物的视频摘要。该方法可以结合视觉信息以及多源的文本信息，产生更加细粒度的面向视频人物的摘要。

公开(公告)号：CN111061915B

公开(公告)日：2023-04-18

申请号：CN201911301387.3

申请日：2019-12-17

Applicant: 中国科学技术大学

Inventor： 徐童 ,  陈恩红 ,  何向南 ,  周培伦 ,  胡林康

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/778 ,  G06N3/047 ,  G06N3/084

Abstract: 本发明公开了一种视频人物关系识别方法，结合视觉信息以及丰富的文本信息，能够准确的的识别视频中任务之间的社交关系；在电影数据集上进行了人物社交关系的识别验证，结果表明该方案在客观评价指标上取得了突出的效果。

公开(公告)号：CN113343029B

公开(公告)日：2024-04-02

申请号：CN202110677925.X

申请日：2021-06-18

Applicant: 中国科学技术大学

Inventor： 徐童 ,  陈恩红 ,  李丹 ,  周培伦 ,  何伟栋 ,  郝艳宾

IPC: G06F16/75 ,  G06F16/783 ,  G06F16/33 ,  G06F18/22 ,  G06Q50/00 ,  G06V40/10 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种社交关系增强的复杂视频人物检索方法，一方面，通过社交关系作为纽带，可以充分挖掘并揭示与目标人物相关的语义信息，从而准确检索出目标人物的全部出场片段，而且也能够为支撑其他相关应用提供基础；另一方面，可以提供更为优良的复杂人物抽取模型，在准确率、召回率和流畅度等主客观指标上都能获得更好的结果。

公开(公告)号：CN113343029A

公开(公告)日：2021-09-03

申请号：CN202110677925.X

申请日：2021-06-18

Applicant: 中国科学技术大学

Inventor： 徐童 ,  陈恩红 ,  李丹 ,  周培伦 ,  何伟栋 ,  郝艳宾

IPC: G06F16/75 ,  G06F16/783 ,  G06F16/33 ,  G06K9/62 ,  G06Q50/00

Abstract: 本发明公开了一种社交关系增强的复杂视频人物检索方法，一方面，通过社交关系作为纽带，可以充分挖掘并揭示与目标人物相关的语义信息，从而准确检索出目标人物的全部出场片段，而且也能够为支撑其他相关应用提供基础；另一方面，可以提供更为优良的复杂人物抽取模型，在准确率、召回率和流畅度等主客观指标上都能获得更好的结果。

公开(公告)号：CN111061915A

公开(公告)日：2020-04-24

申请号：CN201911301387.3

申请日：2019-12-17

Applicant: 中国科学技术大学

Inventor： 徐童 ,  陈恩红 ,  何向南 ,  周培伦 ,  胡林康

IPC: G06F16/783 ,  G06F16/738 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种视频人物关系识别方法，结合视觉信息以及丰富的文本信息，能够准确的的识别视频中任务之间的社交关系；在电影数据集上进行了人物社交关系的识别验证，结果表明该方案在客观评价指标上取得了突出的效果。

公开(公告)号：CN110083741A

公开(公告)日：2019-08-02

申请号：CN201910291983.1

申请日：2019-04-11

Applicant: 中国科学技术大学

Inventor： 徐童 ,  周培伦 ,  尹智卓 ,  刘东 ,  吕广奕 ,  陈恩红

IPC: G06F16/738 ,  G06F16/783 ,  G06F17/27 ,  G06K9/00 ,  G06K9/32 ,  H04N21/234 ,  H04N21/44 ,  H04N21/8549

Abstract: 本发明公开了一种文本与图像联合建模的面向人物的视频摘要提取方法，包括：对原始视频数据进行预处理，获得等间距的视频帧序列以及与原始视频数据相关的文本信息；利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息；根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域及对应文本信息所属的视频帧作为关键帧；根据时间相关性聚合所有关键帧，并补充一些过渡帧以形成流畅的视频片段，从而得到面向人物的视频摘要。该方法可以结合视觉信息以及多源的文本信息，产生更加细粒度的面向视频人物的摘要。