基于深度学习注意力机制的个性化商品检索方法及装置

    公开(公告)号:CN108897823B

    公开(公告)日:2020-03-17

    申请号:CN201810645528.2

    申请日:2018-06-21

    申请人: 山东大学

    IPC分类号: G06F16/9535 G06N3/04

    摘要: 本发明公开了一种基于深度学习注意力机制的个性化商品检索方法及装置。其中,该方法包括:构建基于注意力机制的短期偏好模型;构建基于注意力机制的长期偏好模型;查询再表示;查询再表示的过程为:融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询,通过多层全连接网络来学习三者之间的交互关系,得到重组的查询表示,并采用一个距离函数来界定所有商品与当前查询的相关程度;训练所述多层全连接网络结束后,对每个用户提交的新查询,得到所有商品与当前查询的距离值,再将所有距离值从高到低进行排序,并将前n个距离值对应的商品返回给用户,其中,n为正整数。

    视频片段检索方法、视频片段检索模型的训练方法及装置

    公开(公告)号:CN113590881A

    公开(公告)日:2021-11-02

    申请号:CN202110910711.2

    申请日:2021-08-09

    摘要: 本公开关于一种视频片段检索方法、视频片段检索模型的训练方法、装置、电子设备及存储介质,该方法包括:获取待查询视频的视频特征和检索文本的文本特征;将视频特征和文本特征输入预先训练的视频片段检索模型,得到待查询视频中与检索文本匹配的候选视频片段;其中,预先训练的视频片段检索模型,为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的;其中,目标候选视频片段从候选样本视频片段库中获取,候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段。采用本方法,有利于提高得到的目标视频片段的准确率。

    短视频标签标注方法及系统

    公开(公告)号:CN110309360B

    公开(公告)日:2021-09-28

    申请号:CN201910606153.3

    申请日:2019-07-05

    申请人: 山东大学

    摘要: 本公开提供了短视频标签标注方法及系统。其中,短视频标签标注方法,包括:构建无向图结构,所述无向图结构中包含短视频、用户和话题标签这三种类型的节点;将无向图结构输入至图卷积神经网络,得到基于用户偏好的短视频表示和基于用户偏好的话题标签表示;将基于用户偏好的短视频表示和基于用户偏好的话题标签表示进行点乘操作,得到两者之间的相似性分数并对这些相似性分数排序,获得个性化话题标签推荐。

    基于翻译的多模态建模方法及其在商品检索中的应用

    公开(公告)号:CN108829847B

    公开(公告)日:2020-11-17

    申请号:CN201810636653.7

    申请日:2018-06-20

    申请人: 山东大学

    摘要: 本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用,包括:对所有商品构建正相关数据集和负相关数据集;建立多模态特征空间,于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示;将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合,得到每个商品的融合后的隐含表示;基于翻译模型的转换矩阵将隐含表示映射到隐空间中,得到映射后的每个商品的隐表示向量;将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中,计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离;将距离按照从小到大排序,将排序靠前的设定个商品作为商品检索结果输出。

    一种短视频的话题标签个性化推荐方法及系统

    公开(公告)号:CN110309360A

    公开(公告)日:2019-10-08

    申请号:CN201910606153.3

    申请日:2019-07-05

    申请人: 山东大学

    摘要: 本公开提供了一种短视频的话题标签个性化推荐方法及系统。其中,一种短视频的话题标签个性化推荐方法,包括:构建无向图结构,所述无向图结构中包含短视频、用户和话题标签这三种类型的节点;将无向图结构输入至图卷积神经网络,得到基于用户偏好的短视频表示和基于用户偏好的话题标签表示;将基于用户偏好的短视频表示和基于用户偏好的话题标签表示进行点乘操作,得到两者之间的相似性分数并对这些相似性分数排序,获得个性化话题标签推荐。

    基于特征交互和多任务学习的图像排序方法及系统

    公开(公告)号:CN109063732B

    公开(公告)日:2019-07-09

    申请号:CN201810668293.9

    申请日:2018-06-26

    申请人: 山东大学

    IPC分类号: G06K9/62 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于特征交互和多任务学习的图像排序方法及系统。其中,基于特征交互和多任务学习的图像排序方法,包括提取原始图像的视觉特征;利用提取的图像视觉特征来进行基于区域的图像视觉特征交互;利用多任务学习神经网络来聚集进行交互后的图像视觉特征;将聚集后的图像视觉特征输入至已完成训练的分类器中进行分类,按照分类结果对图像进行排序。其具有排序结果更准确的效果。

    基于多任务学习的用户隐私泄漏检测方法、服务器及系统

    公开(公告)号:CN108830100A

    公开(公告)日:2018-11-16

    申请号:CN201810540969.6

    申请日:2018-05-30

    申请人: 山东大学

    IPC分类号: G06F21/62

    摘要: 本发明公开了一种基于多任务学习的用户隐私泄漏检测方法、服务器及系统。其中,基于多任务学习的用户隐私泄漏检测方法包括:为全面表征用户隐私,预先将用户隐私分成若干个细粒度隐私类别,并将这些细粒度隐私类别划分成若干个组,形成用户隐私的组结构信息;从不同方向抽取用户的隐私特征,来全方位表征用户隐私类别;基于抽取的用户隐私特征,构建预测模型;并引入多任务学习,同一组内的各个任务共享相关特征,利用组套索模型将用户隐私的组结构信息作为先验,进行特征分组,从而提高用户隐私泄漏检测的建模性能和模型的可解释性。

    一种用户注意力引导的多模态对话系统及方法

    公开(公告)号:CN110209789B

    公开(公告)日:2021-08-24

    申请号:CN201910458875.9

    申请日:2019-05-29

    申请人: 山东大学

    摘要: 本发明公开了一种用户注意力引导的多模态对话系统及方法,采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器;所述数据获取模块获取文本信息和商品的视觉图像信息;文本特征提取模块生成注意力加权的文本特征;多模态编码器采用卷积神经网络模型提取视觉图像的视觉特征,将视觉特征输入分类—属性组合树中进行遍历,得到属性级视觉特征;对视觉特征和文本特征进行多模态分解双线性池化处理,生成多模态话语向量;多模态解码器生成上下文向量;基于上下文向量,选择一定量所需商品的可视图像及其文本属性,对其进行解码处理,生成多模态的商品表示。

    基于深度学习注意力机制的个性化商品检索方法及装置

    公开(公告)号:CN108897823A

    公开(公告)日:2018-11-27

    申请号:CN201810645528.2

    申请日:2018-06-21

    申请人: 山东大学

    IPC分类号: G06F17/30 G06N3/04

    摘要: 本发明公开了一种基于深度学习注意力机制的个性化商品检索方法及装置。其中,该方法包括:构建基于注意力机制的短期偏好模型;构建基于注意力机制的长期偏好模型;查询再表示;查询再表示的过程为:融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询,通过多层全连接网络来学习三者之间的交互关系,得到重组的查询表示,并采用一个距离函数来界定所有商品与当前查询的相关程度;训练所述多层全连接网络结束后,对每个用户提交的新查询,得到所有商品与当前查询的距离值,再将所有距离值从高到低进行排序,并将前n个距离值对应的商品返回给用户,其中,n为正整数。