-
公开(公告)号:CN108829847B
公开(公告)日:2020-11-17
申请号:CN201810636653.7
申请日:2018-06-20
申请人: 山东大学
IPC分类号: G06F16/9535 , G06K9/62 , G06Q30/06
摘要: 本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用,包括:对所有商品构建正相关数据集和负相关数据集;建立多模态特征空间,于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示;将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合,得到每个商品的融合后的隐含表示;基于翻译模型的转换矩阵将隐含表示映射到隐空间中,得到映射后的每个商品的隐表示向量;将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中,计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离;将距离按照从小到大排序,将排序靠前的设定个商品作为商品检索结果输出。
-
公开(公告)号:CN111444939A
公开(公告)日:2020-07-24
申请号:CN202010103125.2
申请日:2020-02-19
申请人: 山东大学 , 国网浙江省电力有限公司衢州供电公司 , 智洋创新科技股份有限公司 , 国网浙江省电力有限公司
摘要: 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法,基于设备部件小目标的特性,使用特征金字塔对浅层特征与深层特征相融合,得到更丰富的信息。当提取的多尺度特征输入至候选区域生成网络后,会生成不同尺度特征下的候选区域,根据候选区域的尺度大小对强弱监督学习网络的处理范围进行划分,以充分发挥强监督子网络的高性能和弱监督子网络的协同性。并在很大程度上降低了时间成本,做好效率与精度的均衡。同时,本发明利用了一种不同于经典的Faster R-CNN模型的检测框架对目标进行检测,再次同时提高了小目标检测的精度以及速度。
-
公开(公告)号:CN111340901A
公开(公告)日:2020-06-26
申请号:CN202010102775.5
申请日:2020-02-19
申请人: 国网浙江省电力有限公司 , 山东大学 , 智洋创新科技股份有限公司 , 国网浙江省电力有限公司衢州供电公司
摘要: 一种基于生成式对抗网络的复杂环境下输电网图片的压缩方法,把图片输入到通过生成对抗网络训练的模型中,得到图片的特征编码,对特征编码进行传输、保存,然后再将特征编码恢复成图片。本发明在每个卷积后使用了Instance_norm进行归一化处理,对每一层特征图都求均值和方差,使得模型更好的学习输电网中图片的特征;将输电网图片通过训练的模型得到了图片的特征编码,对特征编码进行传输、保存,节省了数据传输的时间、减少了存储成本、降低了传输的带宽成本;通过多个DenseBlock和Transition_Layer使得最后传输的数据仅为原图像大小的1/96。
-
公开(公告)号:CN110309360A
公开(公告)日:2019-10-08
申请号:CN201910606153.3
申请日:2019-07-05
申请人: 山东大学
IPC分类号: G06F16/735 , G06F16/738 , G06N3/04 , G06N3/08
摘要: 本公开提供了一种短视频的话题标签个性化推荐方法及系统。其中,一种短视频的话题标签个性化推荐方法,包括:构建无向图结构,所述无向图结构中包含短视频、用户和话题标签这三种类型的节点;将无向图结构输入至图卷积神经网络,得到基于用户偏好的短视频表示和基于用户偏好的话题标签表示;将基于用户偏好的短视频表示和基于用户偏好的话题标签表示进行点乘操作,得到两者之间的相似性分数并对这些相似性分数排序,获得个性化话题标签推荐。
-
公开(公告)号:CN110211196A
公开(公告)日:2019-09-06
申请号:CN201910452735.0
申请日:2019-05-28
申请人: 山东大学
摘要: 本公开提供了一种基于姿势引导的虚拟试穿方法及装置。其中,一种基于姿势引导的虚拟试穿方法,包括提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征,预测目标人体的体型;利用第一卷积神经网络提取服装的特征信息,利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息,计算出服装与目标人体匹配的分数,基于该分数得到形变后的服装;将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络,最终输出试穿合成人像,所述试穿合成人像与原始人像可保持相同的数据分布。
-
公开(公告)号:CN110196930A
公开(公告)日:2019-09-03
申请号:CN201910430832.X
申请日:2019-05-22
申请人: 山东大学
IPC分类号: G06F16/9032 , G06F17/27 , G06K9/62
摘要: 本发明公开了一种多模态客服自动回复方法及系统,所述方法包括以下步骤:接收话语并进行编码,得到上下文向量;基于上下文向量,基于预训练的意图类别识别模型确定其相应的意图类别;基于设定规则确定该意图所对应的回复类别;根据所述回复类别,将所述上下文向量作为输入,采用预训练的回复模型生成对应回复。本发明充分能够根据用户的话语自动识别其意图,自适应的生成形式多样的回复。
-
-
公开(公告)号:CN110070033A
公开(公告)日:2019-07-30
申请号:CN201910318878.2
申请日:2019-04-19
申请人: 山东大学
摘要: 一种电力领域危险工作区域内安全帽佩戴状态检测方法,包括:S1:对安全帽的数据集进行预处理;在此基础上构造难样本,完成具体场景的标注,在改进的tiny-yolo模型上进行训练,完成对:人、佩戴安全帽的人、未佩戴安全帽的人,上述三类情况的分类;S2:对移动端捕获的视频进行抽帧处理,并通过神经网络模型得到抽取图片的深层表示;S3:通过检测网络完成对特征的分类,实现对:人、佩戴安全帽的人、未佩戴安全帽的人上述三类检测,在TensorFlow Lite学习框架上完成对移动端的加速优化;S4:对检测得到的所有bounding boxes进行非极大值抑制操作来过滤到多余的边界框,实现对目标的分类检测。
-
公开(公告)号:CN110059694A
公开(公告)日:2019-07-26
申请号:CN201910318881.4
申请日:2019-04-19
申请人: 山东大学
摘要: 本发明公开了电力行业复杂场景下的文字数据的智能识别方法。本方法在文本检测之前采用了一系列预处理,增强了取帧图片中的文字数据信息,弱化了无关信息,在识别后进行后处理并且采用了自然语言处理领域的CBOW模型进行了后处理,以此来提升检测和识别的效果。文本数据检测率为96%,识别准确率在85%左右,具有较高的准确率,同时在本地服务器上具有较快的运算速度,能够满足实时性的要求。同时本方法不仅适用于配电室环境,还适用于电气行业的各种复杂场景甚至自然场景,应用广泛。
-
公开(公告)号:CN109063732B
公开(公告)日:2019-07-09
申请号:CN201810668293.9
申请日:2018-06-26
申请人: 山东大学
摘要: 本发明公开了一种基于特征交互和多任务学习的图像排序方法及系统。其中,基于特征交互和多任务学习的图像排序方法,包括提取原始图像的视觉特征;利用提取的图像视觉特征来进行基于区域的图像视觉特征交互;利用多任务学习神经网络来聚集进行交互后的图像视觉特征;将聚集后的图像视觉特征输入至已完成训练的分类器中进行分类,按照分类结果对图像进行排序。其具有排序结果更准确的效果。
-
-
-
-
-
-
-
-
-