-
公开(公告)号:CN114494763A
公开(公告)日:2022-05-13
申请号:CN202111550515.5
申请日:2021-12-17
申请人: 浙江大学
IPC分类号: G06V10/764 , G06V10/80 , G06V30/148 , G06K9/62 , G06N3/04 , G06N3/08
摘要: 本发明涉及一种基于特征融合的商品详情图版式分类方法,其中商品详情图版式特指图片上的元素如图片、文字的排列和设计方式。所述方法通过计算机视觉技术定位商品详情图中各文字块的位置;利用各文本块的坐标位置提取商品详情图的版式空间特征;通过自然语言处理技术提取各文字块内部的版式语义特征;将版式空间特征和版式语义特征融合,利用机器学习方法对版式进行分类。该发明有助于探究商品详情图版式对于用户的影响,可用于为在线选购商品的用户推荐其感兴趣的商品,同时为设计商品详情图的人员提供设计建议。
-
公开(公告)号:CN108986101B
公开(公告)日:2021-07-06
申请号:CN201810551553.4
申请日:2018-05-31
申请人: 浙江大学
IPC分类号: G06T7/10
摘要: 用于人体图像分割的循环“抠图‑分割”优化方法,利用图像抠图和分割进行两个任务的共同优化,包含以下步骤:首先原始输入图像经过级联的分割网络产生了二分类分割图和多分类分割图;然后,由图像分割产生的多类分割分数图计算出在抠图中利用的引导滤波器的权值参数,对具有抠图功能的引导滤波器组的输出进行线形组合得到抠图结果。最后由循环的“抠图‑分割”优化方法先对抠图结果进行二值化得到二分割图,再输入到分割网络中更新多类分割图从而更新抠图输出,形成一个优化循环。通过以上三个步骤,本发明可以在获取有细致边缘的分割结果的同时获取同样得到优化的人像抠图结果。
-
公开(公告)号:CN112069921A
公开(公告)日:2020-12-11
申请号:CN202010830474.4
申请日:2020-08-18
申请人: 浙江大学
摘要: 一种基于自监督知识迁移的小样本视觉目标识别方法,包括:1)收集与任务弱相关、数量较多的无标注辅助数据,以及与任务强相关、数据量较小的有标注目标数据;2)在数据量较多的无标注辅助数据上通过数据变换构造正样本对以及负样本对,并利用对比损失函数作自监督学习,预训练一个深度神经网络;3)利用预训练模型提取目标数据的特征,并在该特征空间的基础进行数据降维,学习到一个对目标数据具有较强判别能力的特征子空间;4)将每个类别少量标注数据在该子空间的特征表达作为该类别的特征原型,利用最近邻方法对测试数据进行分类预测。
-
公开(公告)号:CN112069199A
公开(公告)日:2020-12-11
申请号:CN202010842798.X
申请日:2020-08-20
申请人: 浙江大学
IPC分类号: G06F16/242 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种基于中间语法树的多轮自然语言转SQL方法。为解决传统端到端方法存在自然语言和SQL间的语义代沟,忽略了SQL内在的语法逻辑等问题,本发明设计了一种类SQL的中间语法树文法,以非端到端的方式,采用编码‑解码架构的语法神经网络,在轮次维度上迭代,按照语法树逻辑由粗到细的两阶段生成每一轮的中间语法树,并在后处理阶段推理生成SQL。应对多轮会话间语义依赖导致生成SQL局部重叠现象,本发明提出了对历史生成SQL的复用策略,进一步地提高了转化准确率。本发明在智能数据库系统等场景中具有广泛的应用前景。
-
公开(公告)号:CN111178157A
公开(公告)日:2020-05-19
申请号:CN201911259483.6
申请日:2019-12-10
申请人: 浙江大学
IPC分类号: G06K9/00 , G06F40/151 , G06N3/04 , G06N3/08
摘要: 一种基于音调的级联序列到序列模型的中文唇语识别方法,包含如下步骤:1)准备实验数据;2)建立拼音序列预测子模型;3)训练拼音序列预测子模型;4)建立音调序列预测子模型;5)训练音调序列预测子模型;6)建立汉字序列预测子模型;7)训练汉字序列预测子模型;8)建立唇语识别模型;9)训练唇语识别模型;10)获得中文唇语识别结果。本发明针对中文语言特点,将音调信息引入到中文唇语识别问题中,提出了一种基于音调的级联序列到序列模型的中文唇语识别方法。通过依次预测拼音序列、音调序列和汉字序列挖掘汉字语言特征,并将多个阶段的预测结果融合起来共同预测汉字序列,从而提高唇语识别准确率。
-
公开(公告)号:CN110930408A
公开(公告)日:2020-03-27
申请号:CN201910980491.3
申请日:2019-10-15
申请人: 浙江大学
摘要: 一种基于知识重组的语义图像压缩方法,包括下列步骤:1)获得预训练的编解码器结构模型以及无标签数据;分别选取图像压缩以及语义分割的预训练同构模型。语义分割模型对输入图像进行逐像素类别预测,图像压缩模型对数字图像进行压缩和解压;2)模型重组;对预训练模型的编码器进行零填充重组得到共享编码器,复用预训练模型的解码器形成多路解码的结构。该重组模型在功能上等价于多个独立模型,能够执行语义分割和图像压缩任务。3)迭代剪枝减小模型规模;基于余弦相似度计算重组模型各层参数的相似度,对相似度最高的卷积核进行剪枝。每轮剪枝后,以无标签数据作为重组模型的输入,以预训练模型的预测结果作为学习目标,进行多任务训练直至收敛。重复步骤3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够对图像进行压缩,同时可以根据需求从编码中解码原图或者解码语义,两个任务可独立执行。
-
公开(公告)号:CN110889797A
公开(公告)日:2020-03-17
申请号:CN201910976907.4
申请日:2019-10-15
申请人: 浙江大学
摘要: 基于对抗样本生成的深度自适应图像隐藏方法,包含如下几个步骤:首先,设计实验样本,确定需要隐藏的图(secret图)和将接受隐藏信息的图(cover图);然后建立局部隐藏patch选择的SSD网络,找出cover图中最合适隐藏secret图的区域;之后,建立encode网络,secret图用对抗样本的方法,通过encode网络产生扰动,直接添加到cover图的选定区域产生藏有隐藏信息的container图;接着,建立decode网络,解出与secret图高度相似的revealed图;最后,训练和测试encode网络和decode网络,对每一组输入进行编码网络的更新,实现对于每组图像的个性化隐藏。通过以上三个主要步骤,本发明可以在保持编码得到很好的隐藏还原效果的同时,实现图像的自适应局部隐藏,提高图像隐藏的重建质量,拓展其实际应用范围。
-
公开(公告)号:CN110175627A
公开(公告)日:2019-08-27
申请号:CN201910327662.2
申请日:2019-04-18
申请人: 浙江大学
摘要: 一种基于知识重组的复杂分类方法,包括:步骤1、特征重组:针对不同分类任务的教师模型,通过一系列自编码器学习得到紧凑的特征表示;步骤2、参数学习:先对学生网络模型参数进行分层的训练,然后在分层训练的基础上,做一个联合的训练。通过上述两个步骤得到的学生模型,是一个轻量级的设计,不需要人工标注的数据,就可以处理复杂的分类任务,而且在很多情况下比单个教师任务完成的效果更好。
-
-
公开(公告)号:CN110097084A
公开(公告)日:2019-08-06
申请号:CN201910264911.8
申请日:2019-04-03
申请人: 浙江大学
摘要: 通过投射特征训练多任务学生网络的知识融合方法,由以下步骤组成:首先初始化TargetNet(目标学生网络)的结构与教师网络相同,通过通道编码,将TargetNet中融合的特征图投射为对应任务的特征图;逐个训练TargetNet中与教师网络对应的block,得到融合的特征图;确定TargetNet中不同任务开始分支的各自位置;将教师网络中的对应block加入学生网络,作为不同任务的分支,并移除TargetNet中末端的block,得到TargetNet最终结构;最后调优学生网络。本方法能够使用无标签数据集,融合多个不同任务的教师网络,得到性能优越的轻量级学生网络。
-
-
-
-
-
-
-
-
-