一种文本引导的图像修复方法和系统

    公开(公告)号:CN111861945A

    公开(公告)日:2020-10-30

    申请号:CN202010993094.2

    申请日:2020-09-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种文本引导的图像修复技术方法和系统,属于计算机视觉的图像修复领域。主要包括如下步骤:1)针对于一组图像、引导文本训练集,通过一个由粗到精的图像修复模块,学习图像信息与文本信息的联合表征并生成合理的修复图像。2)对于图像修复模块生成的图像,通过一个文本重构模块,学习修复图像与引导文本间的语义相关性,推测引导文本的蒙版部分。本发明采用引导文本指导模型生成语义一致,视觉连贯且可控的图像,采用一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像,采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测,提高视觉文本一致性。

    一种基于解耦自适应判别性特征学习的行人重识别方法

    公开(公告)号:CN110443174A

    公开(公告)日:2019-11-12

    申请号:CN201910683172.6

    申请日:2019-07-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于解耦自适应判别性特征学习的行人重识别方法,包括:(1)选取已有的行人重识别模型,将模型分为特征抽取层和分类器层;(2)在训练阶段,每训练完N遍数据后对分类器层的参数进行随机初始化,特征抽取层的学习率随数据的迭代不断降低,分类器层的学习率保持不变;训练直到目标函数收敛;(3)在测试阶段,只保留特征抽取层,作为训练好的网络模型;(4)在行人检索阶段,用训练好的网络模型抽取图片库中每张图片的特征向量,将待查询行人图片特征向量和图片库中每张图片特征向量进行相似度排序并选择排序最靠前的图片的身份作为最终识别结果。利用本发明,可以很好地解决了现在行人特征学习网络优化不充分的问题。

    一种基于机器阅读到序列模型的迁移学习方法

    公开(公告)号:CN109508457A

    公开(公告)日:2019-03-22

    申请号:CN201811284309.2

    申请日:2018-10-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于机器阅读到序列模型的迁移学习方法,包括以下步骤:(1)预训练一个机器阅读模型,所述机器阅读模型包含基于循环神经网络的编码层和模型层;(2)建立一个序列模型,所述序列模型包含基于循环神经网络的编码器和解码器;(3)提取训练好的机器阅读模型中编码层和模型层的参数,迁移到待训练的序列模型中,作为训练序列模型时的部分初始化参数;(4)训练序列模型,直到模型收敛;(5)使用训练好的序列模型进行文本序列预测任务。利用本发明,能够更加深入地挖掘文本蕴含信息,提升生成文本序列的质量。

    一种基于注意力机制的知识图谱嵌入方法

    公开(公告)号:CN108763237A

    公开(公告)日:2018-11-06

    申请号:CN201810235088.3

    申请日:2018-03-21

    Applicant: 浙江大学

    Abstract: 本发明公开一种基于注意力机制的知识图谱嵌入方法,包括以下步骤:(1)输入需要补全的知识图谱数据集,基于注意力机制对知识图谱数据集进行初始化;(2)基于注意力机制对嵌入表示进行更新,得到嵌入表示结果和注意力机制参数;(3)根据嵌入表示结果和注意力机制参数,补全知识图谱数据集。利用本发明能更好的处理以前算法不能很好处理的复杂关系,如一对多,多对一和多对多的关系,得到的实体向量能很好的反应类别信息,并且在关系判断时可以将注意力集中在与关系相关的部分维度上,提高判断的准确性。

    一种基于连词标记和强化学习的自然语言推理方法

    公开(公告)号:CN108717574A

    公开(公告)日:2018-10-30

    申请号:CN201810252473.9

    申请日:2018-03-26

    Applicant: 浙江大学

    Abstract: 本发明提供了一种基于连词标记和强化学习的自然语言推理方法,包括以下步骤:(1)在连词预测任务上训练一个连词预测模型;(2)在自然语言推理模型中,输入前提和猜想文本并使用编码器对其编码,得到表达矩阵;(3)将连词预测模型的编码器嵌入到自然语言推理模型中,将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量;(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互,得到一个注意力向量;(5)将注意力向量转化为概率分布并输出结果。利用本发明,通过迁移其他监督学习任务所学到的知识,大大提升了在大规模数据集上进行自然语言推理任务的准确率。

    一种利用排序标准网络学习解决社区问答任务的方法

    公开(公告)号:CN108388568A

    公开(公告)日:2018-08-10

    申请号:CN201810008072.9

    申请日:2018-01-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用排序标准网络学习解决社区问答任务的方法。主要包括如下步骤:1)针对于一组用户、问题数据集,构建用户、问题之间相互关系的网络,并且针对于形成的网络,利用排序标准网络学习形成问题及用户的最终表达。2)根据得到的用户及问题的最终表达,对于某一问题推荐其最佳用户。相比于一般的问题推荐解决方案,本发明同时利用问题的语义表达信息与社区网站中的异构社区问答网络结构,并结合使用随机游走的方法来学习出社区问答网站中的问题及用户的表达。本发明在社交问答网站问题答案预测中所取得的效果相比于传统的方法更好。

    一种利用排序度量的双层注意力网络进行用户关系预测的方法

    公开(公告)号:CN108256678A

    公开(公告)日:2018-07-06

    申请号:CN201810008475.3

    申请日:2018-01-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用排序度量的双层注意力网络进行用户关系预测的方法。主要包括如下步骤:1)针对于一组用户数据集,构建用户之间相互关系的网络。并且针对于形成的用户社交网络,利用多步骤推理更新后的排序度量的双层注意力网络形成社交网路节点路径集的映射表达。2)对于得到的用户社交网络节点路径集的映射表达,产生对于用户关系的推荐。相比于一般的用户关系推荐解决方案,本发明利用了双层注意力网络并结合多步推理来获取节点集的映射,能够更好地体现用户节点之间存在联系的可能性。本发明在用户关系预测问题中所取得的效果相比于传统的方法更好。

    一种利用包含社会地理信息的多媒体网络学习最大边界多媒体网络表达的方法

    公开(公告)号:CN108170712A

    公开(公告)日:2018-06-15

    申请号:CN201711230595.X

    申请日:2017-11-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。主要包括如下步骤:1)针对于一组社交网络用户及感兴趣地点和感兴趣地点的类别信息,构建包含用户、感兴趣地点和感兴趣地点类别信息之间相互关系的网络。2)卷积神经网络及单词映射网络获取感兴趣地点的综合表达,之后利用最大边界网络训练的方法结合用户及感兴趣地点的映射表达进行训练,得到令损失函数最小的用户及感兴趣地点的表达。相比于一般的用户可能感兴趣地点推荐解决方案,本发明利用了多媒体网络的特性及用户之间的相互关系与感兴趣地点的种类信息。本发明在用户可能感兴趣的地点的预测问题中所取得的效果相比于传统的方法更好。

    一种利用多模态网络学习进行基于社交关系的电影推荐的方法

    公开(公告)号:CN107918652A

    公开(公告)日:2018-04-17

    申请号:CN201711129690.0

    申请日:2017-11-15

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用多模态网络学习进行基于社交关系的电影推荐的方法。主要包括如下步骤:1)针对于一组视频、用户,构建含有其相关关系的SMR网络。并且针对于形成的SMR网络构建采样路径,并针对于采样路径中的电影及用户节点形成电影的综合表达与用户的映射表达,随后针对于预定义的损失函数进行更新,求得最终的用户表达与电影综合表达。2)对于得到的用户表达及电影的综合表达,产生对于用户的电影推荐。相比于一般的电影推荐解决方案,本发明提取了电影的多模态信息并且针对于用户形成了最终的有效用户表达,则能够更准确地反映用户与电影的特性,并产生更加符合要求的电影推荐。本发明在电影推荐问题中所取得的效果相比于传统的方法更好。

    一种基于拉普拉斯算子的图像特征提取方法

    公开(公告)号:CN102663392A

    公开(公告)日:2012-09-12

    申请号:CN201210050540.1

    申请日:2012-02-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于拉普拉斯算子的图像特征提取方法。本发明的方法在特征提取的过程中引入了拉普拉斯正则化最小二乘因子,利用其特性将数据中的潜在流形结构和数据的区别性纳入到考虑范围中。同时,本方法中要提取使结果集协方差矩阵最小的特征,可以使用两种不同的度量方法——协方差矩阵的迹最优化(A-optimality)和协方差矩阵的行列式最优化(D-optimality),也相应产生两种不同的算法,分别是拉普拉斯正则化A-最佳特征选择(LapAOFS)和拉普拉斯正则化D-最佳特征选择(LapDOFS)。本方法的优点在于同时考虑到了数据中的区别结构与几何结构,可以提取出一个合适的特征子集,在保持了数据潜在流形结构的同时可以将后续的学习过程的性能尽量提高。

Patent Agency Ranking