公开(公告)号：CN114925238A

公开(公告)日：2022-08-19

申请号：CN202210849763.8

申请日：2022-07-20

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  王娜 ,  陈振铎 ,  许信顺

IPC: G06F16/783 ,  G06F16/78 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明提供了一种基于联邦学习的视频片段检索方法及系统，属于联邦学习技术领域，所述方案通过采用基于串行学习策略的联邦学习方法，有效提高了视频检索模型的训练效率，解决了现有集中式进行模型训练花费巨大的数据传输成本和存储成本，以及容易造成隐私泄露的问题；所述方案在局部模型聚合阶段，通过客户端之间的验证集定量地测量局部模型的性能进而更好地指导模型聚合，提升了模型性能；所述方案通过将提出的分布差异损失引入到基于联邦学习的视频分析技术中，使局部模型的预测分布努力逼近总体样本的实际分布，能进一步提升模型性能。

公开(公告)号：CN116385946B

公开(公告)日：2023-08-29

申请号：CN202310658383.0

申请日：2023-06-06

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  陈振铎 ,  许信顺

IPC: G06V20/40 ,  G06V10/22 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06F16/783 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及跨媒体检索技术领域，本发明公开了面向视频的目标片段定位方法、系统、存储介质及设备，包括：获取视频和查询，并分别进行特征提取；分别对视频特征和查询特征进行编码后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。提高了检索速度、并实现了可扩展性。

公开(公告)号：CN116385946A

公开(公告)日：2023-07-04

申请号：CN202310658383.0

申请日：2023-06-06

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  陈振铎 ,  许信顺

IPC: G06V20/40 ,  G06V10/22 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06F16/783 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及跨媒体检索技术领域，本发明公开了面向视频的目标片段定位方法、系统、存储介质及设备，包括：获取视频和查询，并分别进行特征提取；分别对视频特征和查询特征进行编码后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。提高了检索速度、并实现了可扩展性。

公开(公告)号：CN114925238B

公开(公告)日：2022-10-28

申请号：CN202210849763.8

申请日：2022-07-20

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  王娜 ,  陈振铎 ,  许信顺

IPC: G06F16/783 ,  G06F16/78 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明提供了一种基于联邦学习的视频片段检索方法及系统，属于联邦学习技术领域，所述方案通过采用基于串行学习策略的联邦学习方法，有效提高了视频检索模型的训练效率，解决了现有集中式进行模型训练花费巨大的数据传输成本和存储成本，以及容易造成隐私泄露的问题；所述方案在局部模型聚合阶段，通过客户端之间的验证集定量地测量局部模型的性能进而更好地指导模型聚合，提升了模型性能；所述方案通过将提出的分布差异损失引入到基于联邦学习的视频分析技术中，使局部模型的预测分布努力逼近总体样本的实际分布，能进一步提升模型性能。