一种基于集成知识蒸馏的图像分类方法

    公开(公告)号:CN112199535A

    公开(公告)日:2021-01-08

    申请号:CN202011058365.1

    申请日:2020-09-30

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于集成知识蒸馏的图像分类方法,包括以下步骤:(1)预训练教师模型,将教师模型的训练过程分为三个阶段,从每个阶段中取出一个最好的教师模型,得到3个教师模型T1、T2和T3;(2)训练学生模型,将学生模型的训练过程划分为三个阶段,每个阶段用得到的三个教师模型来联合指导学生模型;其中,T3在每个阶段的权重保持不变;T1在第一阶段权重最大,T2在第二阶段权重最大;(3)使用训练好的学生模型进行图片分类任务,输入待分类图片,进行分类预测。利用本发明,使得学生模型从教师模型中学习知识变得简单,从而进一步提高学生模型的性能,在提高模型响应速度的同时保证图像分类的精度。

    一种基于机器阅读到序列模型的迁移学习方法

    公开(公告)号:CN109508457B

    公开(公告)日:2020-05-29

    申请号:CN201811284309.2

    申请日:2018-10-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于机器阅读到序列模型的迁移学习方法,包括以下步骤:(1)预训练一个机器阅读模型,所述机器阅读模型包含基于循环神经网络的编码层和模型层;(2)建立一个序列模型,所述序列模型包含基于循环神经网络的编码器和解码器;(3)提取训练好的机器阅读模型中编码层和模型层的参数,迁移到待训练的序列模型中,作为训练序列模型时的部分初始化参数;(4)训练序列模型,直到模型收敛;(5)使用训练好的序列模型进行文本序列预测任务。利用本发明,能够更加深入地挖掘文本蕴含信息,提升生成文本序列的质量。

    一种基于高级语义的文本摘要生成方法

    公开(公告)号:CN109992775A

    公开(公告)日:2019-07-09

    申请号:CN201910227914.4

    申请日:2019-03-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于高级语义的文本摘要生成方法,包括:(1)将文本语料进行分词并转化为与词汇一一对应的语义标签序列;(2)在文本摘要模型上,使用双向循环网络作为编码器对词汇序列和语义标签序列进行编码,得到词汇上的抽象表征和语义上的抽象表征;(3)将词汇上的抽象表征和语义上的抽象表征进行合并;(4)将合并后的抽象表征送入解码器,分别计算词汇注意力权重和语义注意力权重,同时预测序列每一步在词表上的概率分布;(5)将注意力权重分布和词表概率分布合并,得到最终的输出概率分布,将最终的概率分布转化为可读的词汇,并串连成句进行输出。本发明可以提高模型在预测低频词以及进行无标签数据上的文本摘要的准确率。

    一种基于强化双通道序列学习的对话回复生成方法及系统

    公开(公告)号:CN108763504A

    公开(公告)日:2018-11-06

    申请号:CN201810539095.2

    申请日:2018-05-30

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于强化双通道序列学习的对话回复生成方法及系统,本发明方法的步骤如下:(1)对上下文进行建模,获取上下文语义向量;(2)利用编码器将当前对话和上下文语义向量结合学习,得到当前对话向量以及编码器向量;(3)将上下文语义向量和当前对话向量输入解码器,得到第一通道对话回复草稿以及解码器向量;(4)将编码器向量与解码器向量以及第一通道对话回复草稿输入润饰器进行润饰,生成第二通道经过润饰的对话回复;(5)利用强化学习算法优化目标函数;(6)模型训练完毕,生成对话回复并输出。利用本发明,可以使对话生成模型对全局信息的把握更加深入,生成更加符合对话场景的有实质性内容的回复。

    一种基于假设性半监督学习的开放领域问答方法

    公开(公告)号:CN108717413A

    公开(公告)日:2018-10-30

    申请号:CN201810253156.9

    申请日:2018-03-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于假设性半监督学习的开放领域问答方法,包括:(1)使用信息检索技术从语料库中将与问题相关的文章抽取出来;(2)假设给定问答训练集自带的文章是唯一的正标签,从语料库中抽取的所有文章都是负标签;(3)构建深度学习模型,通过训练一个文章打分器学习正标签的特征,训练一个阅读器从文章中选择正确答案;(4)进行文章相关性排序,将相关性高的前n个文章送入打分器内打分并根据分数重新标签;(5)重复步骤3和步骤4,直到模型收敛;(6)模型训练完毕,进行开放领域问答应用。利用本发明可以在不依赖额外人工标注和外部知识的情况下大幅提升现有开放领域问答系统的文章抽取质量和答案的准确率。

    一种利用用户倾向性学习解决社区项目推荐任务的方法

    公开(公告)号:CN108228833A

    公开(公告)日:2018-06-29

    申请号:CN201810008053.6

    申请日:2018-01-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用用户倾向性学习解决社区项目推荐任务的方法。主要包括如下步骤:1)针对于社交网络中的项目,用户,生成项目的表达矩阵与拉普拉斯矩阵。利用每次收集的用户项目排名信息,迭代产生用户倾向性矩阵2)对于生成的用户倾向性矩阵与项目表达矩阵,产生对于用户的项目推荐。相比于一般的项目推荐解决方案,本发明使用了项目特征及用户之间的相互关系,同时迭代地使用多次用户对于项目的排序信息,则能够更准确地反映用户对于项目的排序特点,同时时间消耗低。本发明在社区项目推荐问题中所取得的效果相比于传统的方法更好。

    基于地标点表示的谱聚类方法

    公开(公告)号:CN102799891A

    公开(公告)日:2012-11-28

    申请号:CN201210168089.3

    申请日:2012-05-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于地标点表示的谱聚类方法,其实施步骤如下:1)输入数据X和聚类数k;2)在数据X中通过Kmeans聚类算法或者随机采样产生P个地标点;3)将所述数据X基于所述P个地标点构建稀疏表示矩阵Z;4)根据所述稀疏表示矩阵Z计算ZTZ的前k个特征向量A;5)根据所述稀疏表示矩阵Z计算Z的右奇异向量得到ZZT的前k个特征向量BT;6)对特征向量BT的每一行通过Kmeans聚类算法进行Kmeans聚类,最终输出聚类结果。本发明具有谱聚类算法效率高、计算复杂度低、聚类效果好的优点。

    一种基于拉普拉斯正则化无监督的聚类特征选取方法

    公开(公告)号:CN102722578A

    公开(公告)日:2012-10-10

    申请号:CN201210182514.4

    申请日:2012-05-31

    Applicant: 浙江大学

    Inventor: 何晓飞 姚冠红

    Abstract: 本发明公开了一种基于拉普拉斯正则化无监督的聚类特征选取方法,包括:(1)构建样本特征矩阵;(2)计算拉普拉斯矩阵;(3)对样本特征矩阵进行特征提取。本发明通过直接度量后续学习预测结果的方差来选择特征,能直接提高后续学习预测效果;同时在特征提取过程中考虑选取的特征点对于学习问题的预测值的影响,故能有效提高后续的学习效率;另外本发明数据的建模是基于数据的流形几何的拉普拉斯方法,该方法能有效的反映数据在空间中的分布信息,从而能够找出信息量最大的维度。

    一种基于半监督主题建模的图像标注方法

    公开(公告)号:CN102637199A

    公开(公告)日:2012-08-15

    申请号:CN201210050398.0

    申请日:2012-02-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于半监督主题建模的图像标注方法。本发明的方法首先从互联网上得到图像,包括已有文本标注的图像,以及未标注图像。接着利用一种类似于概率潜在语义分析的模型,对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模。然后构建所有图像的最近邻图,并根据由最近邻图进行建模得到的流形结构对模型进行调整。通过期望最大化算法学习该模型,并分别计算各个潜在主题与图像匹配的概率。最后根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率,并选择概率最高的文本标注对未标注图像进行标注。

Patent Agency Ranking