-
公开(公告)号：CN111309971B
公开(公告)日：2022-03-25
申请号：CN202010060690.5
申请日：2020-01-19
Applicant: 浙江工商大学
IPC: G06F16/783 , G06F16/33
Abstract: 本发明公开了一种基于多级编码的文本到视频的跨模态检索方法，该方法包括：首先获取视频和文本的初步特征，然后通过两个多级编码网络分支分别对两种模态的全局、时序和局部信息进行编码；对于视频端提取音频特征，对于文本端提取句子特征；最后将编码的多个特征进行多级特征融合，得到鲁棒的视频和文本表达。通过全连接层将两个模态的特征映射到一个统一公共空间中，利用公共空间算法学习两个模态之间的关系，通过端到端的方式训练模型，自动学习文本和视频的匹配关系，从而实现文本到视频的跨模态检索。本发明是一种无概念的方法，不需复杂的概念检测操作，就能实现跨模态检索，并且利用了深度学习技术，在很大程度上提高了检索的性能和效率。
-
公开(公告)号：CN111274440A
公开(公告)日：2020-06-12
申请号：CN202010060686.9
申请日：2020-01-19
Applicant: 浙江工商大学
IPC: G06F16/735 , G06F16/783 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于视觉和音频内容相关度挖掘的视频推荐方法，该方法通过分析视频的视觉和音频内容挖掘视频之间的相关度。考虑现有的视频特征表示不是专门针对推荐任务设定的，本发明提出级联多特征融合映射网络对现有视频特征进行映射，并通过负样本增强三元损失函数训练模型，最终得到更适合视频推荐任务的二级特征表示，从而更好的衡量视频之间的相关度。为了充分挖掘视频的内容特征，本发明还提出特征交叉门控融合模块有效地对视频视觉和音频特征进行融合，该模块通过类似注意力机制衡量不同特征之间的交互作用，通过权重来加强特征中的重要信息，剔除冗余信息。本发明方法可以有效地解决视频的冷启动问题，并能够有效提高视频推荐性能。
-
公开(公告)号：CN111274440B
公开(公告)日：2022-03-25
申请号：CN202010060686.9
申请日：2020-01-19
Applicant: 浙江工商大学
IPC: G06F16/735 , G06F16/783 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于视觉和音频内容相关度挖掘的视频推荐方法，该方法通过分析视频的视觉和音频内容挖掘视频之间的相关度。考虑现有的视频特征表示不是专门针对推荐任务设定的，本发明提出级联多特征融合映射网络对现有视频特征进行映射，并通过负样本增强三元损失函数训练模型，最终得到更适合视频推荐任务的二级特征表示，从而更好的衡量视频之间的相关度。为了充分挖掘视频的内容特征，本发明还提出特征交叉门控融合模块有效地对视频视觉和音频特征进行融合，该模块通过类似注意力机制衡量不同特征之间的交互作用，通过权重来加强特征中的重要信息，剔除冗余信息。本发明方法可以有效地解决视频的冷启动问题，并能够有效提高视频推荐性能。
-
公开(公告)号：CN111309971A
公开(公告)日：2020-06-19
申请号：CN202010060690.5
申请日：2020-01-19
Applicant: 浙江工商大学
IPC: G06F16/783 , G06F16/33
Abstract: 本发明公开了一种基于多级编码的文本到视频的跨模态检索方法，该方法包括：首先获取视频和文本的初步特征，然后通过两个多级编码网络分支分别对两种模态的全局、时序和局部信息进行编码；对于视频端提取音频特征，对于文本端提取句子特征；最后将编码的多个特征进行多级特征融合，得到鲁棒的视频和文本表达。通过全连接层将两个模态的特征映射到一个统一公共空间中，利用公共空间算法学习两个模态之间的关系，通过端到端的方式训练模型，自动学习文本和视频的匹配关系，从而实现文本到视频的跨模态检索。本发明是一种无概念的方法，不需复杂的概念检测操作，就能实现跨模态检索，并且利用了深度学习技术，在很大程度上提高了检索的性能和效率。
-
-
-
Search Results
4
records
(took 0.015 seconds)
