基于跨模型交互网络实现问题-视频片段抽取任务的方法

    公开(公告)号:CN110377792B

    公开(公告)日:2021-09-21

    申请号:CN201910516683.9

    申请日:2019-06-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法。主要包括如下步骤:1)针对问题语句与视频帧,利用语义图像卷积网络、多头自注意力模块、与多步骤跨模型交互模块获取视频帧的跨模型语义表达。2)对获得的视频帧的跨模型语义表达,计算损失函数并训练模型,利用训练后的跨模型交互网络,对视频进行以问题为基础的片段抽取。相比于一般的视频片段抽取解决方案,本发明对多种有效信息进行综合利用。本发明在以问题为基础的视频片段抽取任务中所取得的效果相比于传统的方法更好。

    一种利用多模态网络学习进行基于社交关系的电影推荐的方法

    公开(公告)号:CN107918652B

    公开(公告)日:2020-10-02

    申请号:CN201711129690.0

    申请日:2017-11-15

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用多模态网络学习进行基于社交关系的电影推荐的方法。主要包括如下步骤:1)针对于一组视频、用户,构建含有其相关关系的SMR网络。并且针对于形成的SMR网络构建采样路径,并针对于采样路径中的电影及用户节点形成电影的综合表达与用户的映射表达,随后针对于预定义的损失函数进行更新,求得最终的用户表达与电影综合表达。2)对于得到的用户表达及电影的综合表达,产生对于用户的电影推荐。相比于一般的电影推荐解决方案,本发明提取了电影的多模态信息并且针对于用户形成了最终的有效用户表达,则能够更准确地反映用户与电影的特性,并产生更加符合要求的电影推荐。本发明在电影推荐问题中所取得的效果相比于传统的方法更好。

    一种利用非对称的多面排序网络学习解决社区问答任务的方法

    公开(公告)号:CN108153816A

    公开(公告)日:2018-06-12

    申请号:CN201711227321.5

    申请日:2017-11-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用非对称的多面排序网络学习解决社区问答任务的方法。主要包括如下步骤:1)针对于一组用户、问题、答案数据集,构建用户、问题、答案之间相互关系的网络,并且针对于形成的网络,利用非对称的多面排序网络学习形成多面排序标准函数。2)根据得到的多面排序标准函数,对于某一问题针对于不同用户的答案进行排序。相比于一般的问题答案推荐解决方案,本发明利用了非对称的多面排序网络学习的方法,能够综合利用问题答案之间的语义相关性与用户之间的相互关系。本发明在社交问答网站问题答案预测中所取得的效果相比于传统的方法更好。

    一种语音识别的方法及其装置

    公开(公告)号:CN111599363B

    公开(公告)日:2023-03-31

    申请号:CN201910104761.4

    申请日:2019-02-01

    Applicant: 浙江大学

    Abstract: 本申请公开了一种语音识别的方法及其装置,所述方法包括:将与获取的语音对应的声谱图输入到语音模型,获取与所述语音对应的多个候选分句;利用多层评价模型确定与所述多个候选分句中每个候选分句对应的候选值;将候选值最高的候选分句确定为目标识别文本。采用本申请,可利用多层评价模型对利用语音模型输出的多个候选分句执行量化处理,从而能够更准确且直观地确定目标识别文本。

    一种利用包含社会地理信息的多媒体网络学习最大边界多媒体网络表达的方法

    公开(公告)号:CN108170712B

    公开(公告)日:2021-08-10

    申请号:CN201711230595.X

    申请日:2017-11-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。主要包括如下步骤:1)针对于一组社交网络用户及感兴趣地点和感兴趣地点的类别信息,构建包含用户、感兴趣地点和感兴趣地点类别信息之间相互关系的网络。2)卷积神经网络及单词映射网络获取感兴趣地点的综合表达,之后利用最大边界网络训练的方法结合用户及感兴趣地点的映射表达进行训练,得到令损失函数最小的用户及感兴趣地点的表达。相比于一般的用户可能感兴趣地点推荐解决方案,本发明利用了多媒体网络的特性及用户之间的相互关系与感兴趣地点的种类信息。本发明在用户可能感兴趣的地点的预测问题中所取得的效果相比于传统的方法更好。

    一种利用用户倾向性学习解决社区项目推荐任务的方法

    公开(公告)号:CN108228833B

    公开(公告)日:2021-08-03

    申请号:CN201810008053.6

    申请日:2018-01-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用用户倾向性学习解决社区项目推荐任务的方法。主要包括如下步骤:1)针对于社交网络中的项目,用户,生成项目的表达矩阵与拉普拉斯矩阵。利用每次收集的用户项目排名信息,迭代产生用户倾向性矩阵2)对于生成的用户倾向性矩阵与项目表达矩阵,产生对于用户的项目推荐。相比于一般的项目推荐解决方案,本发明使用了项目特征及用户之间的相互关系,同时迭代地使用多次用户对于项目的排序信息,则能够更准确地反映用户对于项目的排序特点,同时时间消耗低。本发明在社区项目推荐问题中所取得的效果相比于传统的方法更好。

    一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法

    公开(公告)号:CN110377711A

    公开(公告)日:2019-10-25

    申请号:CN201910585462.7

    申请日:2019-07-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法。主要包括如下步骤:1)针对视频与问题,分层卷积自注意力编码器网络获取多层视频语义表达。2)对获得的视频帧的多层视频语义表达,计算损失函数并训练模型,利用训练后的分层卷积自注意力网络,对开放式长视频问答任务进行回答语句生成。相比于一般的开放式长视频问答任务解决方案,本发明对多种有效信息进行综合利用。本发明在开放式长视频问答任务中所取得的效果相比于传统的方法更好。

    一种利用关系路径挖掘解决知识图谱对齐任务的方法

    公开(公告)号:CN109255002A

    公开(公告)日:2019-01-22

    申请号:CN201811057114.4

    申请日:2018-09-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用关系路径挖掘解决知识图谱对齐任务的方法。主要包括如下步骤:1)利用知识翻译模型、线性映射函数、对齐节点对与对齐三元组获取表示知识图谱对齐任务的损失函数。2)利用损失函数下降训练,完成关系路径挖掘,实现知识图谱对齐任务。相比于其他的知识图谱对齐任务解决方法,本发明使用到了知识图谱中的实体与关系的对齐方式。本发明在知识图谱对齐任务中所取得的效果相比于传统的方法更好。

    一种使用多层注意力网络机制解决视频问答的方法

    公开(公告)号:CN107766447A

    公开(公告)日:2018-03-06

    申请号:CN201710874931.8

    申请日:2017-09-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用多层注意力网络机制解决视频问答的方法。主要包括如下步骤:1)针对于一组视频,利用预训练好的卷积神经网络,获得帧级别及分段级别视频表达。2)使用问题单词级别的注意力网络机制,得到针对问题单词级别的帧级别及分段级别视频表达。3)使用问题级别的时间注意力机制,得到与问题相关的帧级别及分段级别视频表达。4)利用问题级别的融合注意力网络机制,得到问题相关的联合视频表达。5)利用所得联合视频表达,获取针对视频所问问题答案。相比于一般视频问答解决方案,本发明利用多层注意力机制,能够更准确地反映视频和问题特性,产生更加符合的答案。本发明在视频问答中所取得的效果相比于传统方法更好。

Patent Agency Ranking