基于翻译的多模态建模方法及其在商品检索中的应用

    公开(公告)号:CN108829847B

    公开(公告)日:2020-11-17

    申请号:CN201810636653.7

    申请日:2018-06-20

    申请人: 山东大学

    摘要: 本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用,包括:对所有商品构建正相关数据集和负相关数据集;建立多模态特征空间,于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示;将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合,得到每个商品的融合后的隐含表示;基于翻译模型的转换矩阵将隐含表示映射到隐空间中,得到映射后的每个商品的隐表示向量;将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中,计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离;将距离按照从小到大排序,将排序靠前的设定个商品作为商品检索结果输出。

    一种短视频的话题标签个性化推荐方法及系统

    公开(公告)号:CN110309360A

    公开(公告)日:2019-10-08

    申请号:CN201910606153.3

    申请日:2019-07-05

    申请人: 山东大学

    摘要: 本公开提供了一种短视频的话题标签个性化推荐方法及系统。其中,一种短视频的话题标签个性化推荐方法,包括:构建无向图结构,所述无向图结构中包含短视频、用户和话题标签这三种类型的节点;将无向图结构输入至图卷积神经网络,得到基于用户偏好的短视频表示和基于用户偏好的话题标签表示;将基于用户偏好的短视频表示和基于用户偏好的话题标签表示进行点乘操作,得到两者之间的相似性分数并对这些相似性分数排序,获得个性化话题标签推荐。

    一种基于姿势引导的虚拟试穿方法及装置

    公开(公告)号:CN110211196A

    公开(公告)日:2019-09-06

    申请号:CN201910452735.0

    申请日:2019-05-28

    申请人: 山东大学

    IPC分类号: G06T11/00 G06K9/62 G06N3/04

    摘要: 本公开提供了一种基于姿势引导的虚拟试穿方法及装置。其中,一种基于姿势引导的虚拟试穿方法,包括提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征,预测目标人体的体型;利用第一卷积神经网络提取服装的特征信息,利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息,计算出服装与目标人体匹配的分数,基于该分数得到形变后的服装;将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络,最终输出试穿合成人像,所述试穿合成人像与原始人像可保持相同的数据分布。

    一种多模态客服自动回复方法及系统

    公开(公告)号:CN110196930A

    公开(公告)日:2019-09-03

    申请号:CN201910430832.X

    申请日:2019-05-22

    申请人: 山东大学

    摘要: 本发明公开了一种多模态客服自动回复方法及系统,所述方法包括以下步骤:接收话语并进行编码,得到上下文向量;基于上下文向量,基于预训练的意图类别识别模型确定其相应的意图类别;基于设定规则确定该意图所对应的回复类别;根据所述回复类别,将所述上下文向量作为输入,采用预训练的回复模型生成对应回复。本发明充分能够根据用户的话语自动识别其意图,自适应的生成形式多样的回复。

    基于深度学习的变电站烟火智能识别监测方法

    公开(公告)号:CN110084166A

    公开(公告)日:2019-08-02

    申请号:CN201910319875.0

    申请日:2019-04-19

    申请人: 山东大学

    IPC分类号: G06K9/00

    摘要: 本发明公开一种基于深度学习的变电站烟火智能识别监测方法,通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化,紧接着融合两种改进之后的模型框架,尽可能多地避免二者的劣势,发挥出二者各自的优势,设计一种更加合理灵活的检测方法:平时利用图像识别模型进行监控,在检测到烟雾之后,自动调用视频识别模型进行二次复验,核验准确后再向监控平台发出报警信号,可以有效完成检测预警工作。

    一种电力领域危险工作区域内安全帽佩戴状态检测方法

    公开(公告)号:CN110070033A

    公开(公告)日:2019-07-30

    申请号:CN201910318878.2

    申请日:2019-04-19

    申请人: 山东大学

    IPC分类号: G06K9/00 G06K9/62

    摘要: 一种电力领域危险工作区域内安全帽佩戴状态检测方法,包括:S1:对安全帽的数据集进行预处理;在此基础上构造难样本,完成具体场景的标注,在改进的tiny-yolo模型上进行训练,完成对:人、佩戴安全帽的人、未佩戴安全帽的人,上述三类情况的分类;S2:对移动端捕获的视频进行抽帧处理,并通过神经网络模型得到抽取图片的深层表示;S3:通过检测网络完成对特征的分类,实现对:人、佩戴安全帽的人、未佩戴安全帽的人上述三类检测,在TensorFlow Lite学习框架上完成对移动端的加速优化;S4:对检测得到的所有bounding boxes进行非极大值抑制操作来过滤到多余的边界框,实现对目标的分类检测。

    电力行业复杂场景下的文字数据的智能识别方法

    公开(公告)号:CN110059694A

    公开(公告)日:2019-07-26

    申请号:CN201910318881.4

    申请日:2019-04-19

    申请人: 山东大学

    摘要: 本发明公开了电力行业复杂场景下的文字数据的智能识别方法。本方法在文本检测之前采用了一系列预处理,增强了取帧图片中的文字数据信息,弱化了无关信息,在识别后进行后处理并且采用了自然语言处理领域的CBOW模型进行了后处理,以此来提升检测和识别的效果。文本数据检测率为96%,识别准确率在85%左右,具有较高的准确率,同时在本地服务器上具有较快的运算速度,能够满足实时性的要求。同时本方法不仅适用于配电室环境,还适用于电气行业的各种复杂场景甚至自然场景,应用广泛。

    基于特征交互和多任务学习的图像排序方法及系统

    公开(公告)号:CN109063732B

    公开(公告)日:2019-07-09

    申请号:CN201810668293.9

    申请日:2018-06-26

    申请人: 山东大学

    IPC分类号: G06K9/62 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于特征交互和多任务学习的图像排序方法及系统。其中,基于特征交互和多任务学习的图像排序方法,包括提取原始图像的视觉特征;利用提取的图像视觉特征来进行基于区域的图像视觉特征交互;利用多任务学习神经网络来聚集进行交互后的图像视觉特征;将聚集后的图像视觉特征输入至已完成训练的分类器中进行分类,按照分类结果对图像进行排序。其具有排序结果更准确的效果。