基于知识重组的语义图像压缩方法

    公开(公告)号:CN110930408B

    公开(公告)日:2021-06-18

    申请号:CN201910980491.3

    申请日:2019-10-15

    Applicant: 浙江大学

    Abstract: 一种基于知识重组的语义图像压缩方法,包括下列步骤:1)获得预训练的编解码器结构模型以及无标签数据;分别选取图像压缩以及语义分割的预训练同构模型。语义分割模型对输入图像进行逐像素类别预测,图像压缩模型对数字图像进行压缩和解压;2)模型重组;对预训练模型的编码器进行零填充重组得到共享编码器,复用预训练模型的解码器形成多路解码的结构。该重组模型在功能上等价于多个独立模型,能够执行语义分割和图像压缩任务。3)迭代剪枝减小模型规模;基于余弦相似度计算重组模型各层参数的相似度,对相似度最高的卷积核进行剪枝。每轮剪枝后,以无标签数据作为重组模型的输入,以预训练模型的预测结果作为学习目标,进行多任务训练直至收敛。重复步骤3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够对图像进行压缩,同时可以根据需求从编码中解码原图或者解码语义,两个任务可独立执行。

    一种深度图像的后处理方法

    公开(公告)号:CN110070500B

    公开(公告)日:2020-12-08

    申请号:CN201910215856.3

    申请日:2019-03-21

    Applicant: 浙江大学

    Abstract: 一种深度图像的后处理方法,包括:(1)小孔填充,利用圆形填充模板,将小孔用相邻像素的视差值填充;(2)较大孔填充,利用方形闭合模板填充较大空洞,同时闭合离散的物体边缘,并保持边缘平滑;(3)边缘收缩,利用方形模板收缩在第二步中膨胀的物体边缘;(4)Mask填充,将第(2)步第(3)步得到的结果,填充到第(1)步操作后视差图的空洞中,保持视差图的细节。通过以上4个步骤,可以有效填充视差图中不同大小的空洞,并且得到平滑的物体边缘。

    通过投射特征训练多任务学生网络的知识融合方法

    公开(公告)号:CN110209981A

    公开(公告)日:2019-09-06

    申请号:CN201910351498.9

    申请日:2019-04-28

    Applicant: 浙江大学

    Abstract: 通过投射特征训练多任务学生网络的知识融合方法,由以下步骤组成:首先初始化TargetNet(目标学生网络)的结构与教师网络相同,通过通道编码,将TargetNet中融合的特征图投射为对应任务的特征图;逐个训练TargetNet中与教师网络对应的block,得到融合的特征图;确定TargetNet中不同任务开始分支的各自位置;将教师网络中的对应block加入学生网络,作为不同任务的分支,并移除TargetNet中末端的block,得到TargetNet最终结构;最后调优学生网络。本方法能够使用无标签数据集,融合多个不同任务的教师网络,得到性能优越的轻量级学生网络。

    一种基于多源信息融合分析的网络视频热点事件发现方法

    公开(公告)号:CN105787049B

    公开(公告)日:2019-07-16

    申请号:CN201610109051.7

    申请日:2016-02-26

    Applicant: 浙江大学

    Abstract: 一种基于多源信息融合分析的网络视频热点事件发现方法。包括:1)采集有多源信息的网络视频;2)将网络视频的多源信息结构化为描述性关键字标签;3)根据步骤2)得到的网络视频语义结构化关键字标签与用户定义的敏感词字典的匹配度,得到网络视频的主观敏感度参数;4)根据网络视频中多源信息的点击率、时间字段,得到网络视频的客观热度参数;5)根据步骤3)得到的主观敏感度参数,建立网络视频敏感度预测模型,预测新网络视频的主观敏感度;6)根据步骤4)得到的客观热度参数,建立网络视频热度预测模型,预测新网络视频的客观热度;7)选取主观敏感度和客观热度加权求和在网络视频集中排名靠前的视频作为热点视频。

    一种跨维度人脸地标点定位的方法

    公开(公告)号:CN105825187B

    公开(公告)日:2019-03-12

    申请号:CN201610149949.7

    申请日:2016-03-16

    Applicant: 浙江大学

    Abstract: 本发明公开了一种跨维度人脸地标点定位的方法,包括如下步骤:1)构造基于自旋图特征的三维人脸锚点自动检测算法;2)基于VCP特征进行boosting学习,构造二维人脸锚点自动检测算法;3)定义包括锚点在内的地标点集合,对部分三维人脸地标点进行标注,构造三维人脸+三维地标点耦合字典。基于在线LCC对该耦合字典进行学习,从而构造并实现基于在线LCC的三维地标点定位算法;4)考虑二维‑三维耦合人脸之间的类质同象特性,通过锚点计算三维到二维人脸的投影变换矩阵,将该投影变换矩阵应用于三维人脸地标点,得到对应二维人脸地标点位置。通过跨维度人脸地标点定位算法,能够做到二维‑三维人脸地标点的准确一致性定位。

    基于循环“抠图-分割”优化的人体图像分割方法

    公开(公告)号:CN108986101A

    公开(公告)日:2018-12-11

    申请号:CN201810551553.4

    申请日:2018-05-31

    Applicant: 浙江大学

    Abstract: 用于人体图像分割的循环“抠图-分割”优化方法,利用图像抠图和分割进行两个任务的共同优化,包含以下步骤:首先原始输入图像经过级联的分割网络产生了二分类分割图和多分类分割图;然后,由图像分割产生的多类分割分数图计算出在抠图中利用的引导滤波器的权值参数,对具有抠图功能的引导滤波器组的输出进行线形组合得到抠图结果。最后由循环的“抠图-分割”优化方法先对抠图结果进行二值化得到二分割图,再输入到分割网络中更新多类分割图从而更新抠图输出,形成一个优化循环。通过以上三个步骤,本发明可以在获取有细致边缘的分割结果的同时获取同样得到优化的人像抠图结果。

    一种用于手机屏幕缺陷检测的深度残差网络构造方法

    公开(公告)号:CN107123111A

    公开(公告)日:2017-09-01

    申请号:CN201710243888.5

    申请日:2017-04-14

    Applicant: 浙江大学

    Abstract: 一种用于手机屏幕缺陷检测的深度残差网络构造方法,包括:1)分别采集包含瑕疵图片和正常图片,进行标记(1表示包含瑕疵图片,0表示正常图片),通过训练数据训练自定义的深度残差网络直到收敛并且有较高准确率;2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型,并重复进行此操作,生成多个不同深度的网络模型;3)将高分辨率相机拍摄的手机屏幕图片进行不同比例的缩放,形成图片金字塔,对于每个尺度的图片,将图片分割成小块并使得图片块含有一定的重合面积,将所有小块图片作为一个组一起送入不同深度的网络模型中;4)选取每个网络模型输出的特征图作为缺陷的响应图,采用阈值分割的方法获得手机屏幕缺陷区域位置,最后将不同深度的网络模型的检测结果叠加,从而获得最终检测结果。

    一种用于纺织品自动色彩采集及校准的方法

    公开(公告)号:CN105806485A

    公开(公告)日:2016-07-27

    申请号:CN201610157732.0

    申请日:2016-03-21

    Applicant: 浙江大学

    CPC classification number: G01J3/504

    Abstract: 一种用于纺织品自动色彩采集及校准的方法。此方法由三个有效步骤组成:1)利用色彩采集装置采集CIE 1931 XYZ色彩空间数据,得到CIE 1931 XYZ色彩空间与CMYK色彩空间对应的训练数据;2)利用角点对齐的方法对步骤1)中所得训练数据与标准色块进行对齐。该色彩采集装置包含遮光罩、自动滑轴、照相机、被测样品以及测色仪。该色彩采集装置去除光照强度对采集的训练数据的影响,通过X、Y方向的滑轴自动获得被测样品上的所有色块值。通过对照相机获得被测样品的图像与标准色块对齐,得到准确的训练样本,进而保证了训练的准确性。

    一种基于精粒度卷积神经网络的衣物推荐方法

    公开(公告)号:CN104992179A

    公开(公告)日:2015-10-21

    申请号:CN201510354947.7

    申请日:2015-06-23

    Applicant: 浙江大学

    CPC classification number: G06K9/6256 G06N3/02

    Abstract: 一种基于精粒度卷积神经网络的衣物推荐方法,首先从电商网站收集多种类型的衣物图片以及不包含衣物的图片,并对这两种类型的图片进行标注。然后初始化卷积神经网络,使用标记好的图片训练卷积神经网络。推荐过程首先使用基于分割的目标区域选择方法选取用户输入图片中可能包含衣物的候选形状区域,通过特定的距离函数寻找训练图片数据库中最接近的图片并索引其对应的衣服类型标注。提取所有衣物区域的深度特征,进行链接并推荐评分,最终将推荐结果返回给用户。本发明提取的深度特征对于旋转、平移、尺度变化有很好的不变性,另外,基于分割的目标区域与相邻图片的推荐方法在一定程度上提高了推荐的准确性。

    一种基于多核典型相关分析的视频检索方法

    公开(公告)号:CN103559196A

    公开(公告)日:2014-02-05

    申请号:CN201310438216.1

    申请日:2013-09-23

    Applicant: 浙江大学

    CPC classification number: G06F17/30799 G06F17/30811 G06F17/30825

    Abstract: 基于多核典型相关分析的视频检索方法,从互联网上抓取视频及对应的文本描述后,针对每个视频进行如下操作:首先根据镜头是否突变对视频进行切分,抽取其关键帧,并提取关键帧中的视觉特征和镜头的运动特征构成视频特征向量,针对每个视频的文本描述提取词频特征;然后利用多核典型相关分析方法得到视频特征和词频特征的映射矩阵及其低维表示,使它们在低维空间的相关性最大;最后,当用户输入关键词做视频检索时,根据词频特征的映射矩阵得到关键词词频特征的低维表示,按照其与视频特征低维表示的余弦相似度由大到小依次返回视频检索结果。本方法的优点在于:增强视频内容和检索关键词的相关程度,提高用户的检索精度。

Patent Agency Ranking