基于自注意力机制的电子商务视频高光检测方法及系统

    公开(公告)号:CN112801076B

    公开(公告)日:2021-08-03

    申请号:CN202110403571.X

    申请日:2021-04-15

    申请人: 浙江大学

    IPC分类号: G06K9/00 G06K9/62 G06N20/00

    摘要: 本发明公开了一种基于自注意力机制的电子商务视频高光检测方法及系统,属于视频高光检测领域。整个检测过程分为两个阶段,在第一阶段将视频分成待检测片段和上下文片段,分别通过绝对时序编码和相对时序编码将其位置关系编码到整个视频中,通过加性注意力机制和自注意力机制将得出候选分数较高的若干候选片段;在第二阶段,从生成的若干候选片段中选择最好的得分最高的片段作为最后的高光片段输出。本发明基于自注意机制,利用绝对位置编码和相对位置编码,能够综合考虑片段与上下文以及片段和整体的关系,在高光检测中所取得的效果相比于传统的方法更好,精度更高。

    基于商品感知的多模态视频高光检测方法及其系统

    公开(公告)号:CN112801762B

    公开(公告)日:2021-08-03

    申请号:CN202110397055.0

    申请日:2021-04-13

    申请人: 浙江大学

    摘要: 本发明提出了一种基于商品感知的多模态视频高光检测方法及其系统,属于视频高光检测领域。首先,分别进行视频预处理和文本预处理,通过视频预处理得到视频片段的自注意力语义表示,通过文本预处理获取视频标题、商品标签以及商品名称的词特征,构建并更新得到最终图,获取句法感知的文本信息表示;然后,两者通过共同注意力模块融合得到跨模态语义集合,使用含有sigmoid函数的全连接层计算每一个视频片段的置信度;最后,通过置信度筛选出候选片段来构建无向图,利用图卷积网络从无向图中预测出最终的高光索引。本发明通过将商品名称、标签和视频标题作为监督元素加入模型中,检测精度更高。

    基于商品感知的多模态视频高光检测方法及其系统

    公开(公告)号:CN112801762A

    公开(公告)日:2021-05-14

    申请号:CN202110397055.0

    申请日:2021-04-13

    申请人: 浙江大学

    摘要: 本发明提出了一种基于商品感知的多模态视频高光检测方法及其系统,属于视频高光检测领域。首先,分别进行视频预处理和文本预处理,通过视频预处理得到视频片段的自注意力语义表示,通过文本预处理获取视频标题、商品标签以及商品名称的词特征,构建并更新得到最终图,获取句法感知的文本信息表示;然后,两者通过共同注意力模块融合得到跨模态语义集合,使用含有sigmoid函数的全连接层计算每一个视频片段的置信度;最后,通过置信度筛选出候选片段来构建无向图,利用图卷积网络从无向图中预测出最终的高光索引。本发明通过将商品名称、标签和视频标题作为监督元素加入模型中,检测精度更高。

    基于自注意力机制的电子商务视频高光检测方法及系统

    公开(公告)号:CN112801076A

    公开(公告)日:2021-05-14

    申请号:CN202110403571.X

    申请日:2021-04-15

    申请人: 浙江大学

    IPC分类号: G06K9/00 G06K9/62 G06N20/00

    摘要: 本发明公开了一种基于自注意力机制的电子商务视频高光检测方法及系统,属于视频高光检测领域。整个检测过程分为两个阶段,在第一阶段将视频分成待检测片段和上下文片段,分别通过绝对时序编码和相对时序编码将其位置关系编码到整个视频中,通过加性注意力机制和自注意力机制将得出候选分数较高的若干候选片段;在第二阶段,从生成的若干候选片段中选择最好的得分最高的片段作为最后的高光片段输出。本发明基于自注意机制,利用绝对位置编码和相对位置编码,能够综合考虑片段与上下文以及片段和整体的关系,在高光检测中所取得的效果相比于传统的方法更好,精度更高。

    一种分布式系统数据实时检验方法

    公开(公告)号:CN115114063A

    公开(公告)日:2022-09-27

    申请号:CN202210711374.9

    申请日:2022-06-22

    申请人: 浙江大学

    发明人: 张微 周楚程 冯天

    IPC分类号: G06F11/07 G06F11/30 G06F11/32

    摘要: 本发明公开了一种分布式系统数据实时校验方法。本发明通过订阅资源计算接口的消息,从中解析核对特征值和触发特征值,并由缓存模块以核对特征值为键来合并管理同一次业务流程执行过程中的数据变化消息,从而在满足触发条件时由核对模块从缓存中提取对应的消息进行核对校验,校验出错则进行报警。相对于传统方法中采用的离线的数据校验方式,本发明可以对分布式数据进行高质量的实时的校验,并且在保证校验质量的同时,无需过度依赖用例的质量和完整性。