-
Patent Agency Ranking
公开(公告)号：CN114330554B
公开(公告)日：2025-04-08
申请号：CN202111639661.5
申请日：2021-12-29
Applicant: 浙江大学
Abstract: 一种面向智能安防的视觉深度模型知识重组方法，首先，收集安防边缘测的视觉数据，明确模型任务，收集数据进行标注，训练目标任务模型。然后，利用归因图计算目标模型和不同预训练模型之间的可迁移分数，将归一化的可迁移分数作为模型选择的概率，可放回地采样形成模型集合；在联邦学习范式的基础上，将目标模型分发到不同的节点，利用表征蒸馏迁移预训练模型的特征提取能力，在目标模型学习和迁移完成后，通过平均的方式在中心节点进行知识重组，重组过后的模型再次分发到选择的模型节点进一步迭代。最后，再利用目标数据集进行微调目标模型，从而学习得到一个在智能安防领域的目标任务上表现良好的视觉深度模型，并且保护了数据隐私和模型隐私。
-
公开(公告)号：CN111160409A
公开(公告)日：2020-05-15
申请号：CN201911265852.2
申请日：2019-12-11
Applicant: 浙江大学
Abstract: 基于共同特征学习的异构神经网络知识重组方法，包括：获取预训练好的多个神经网络模型，称其为教师模型；利用教师模型输出的特征和输出的预测结果，通过一种共同特征学习和软目标蒸馏方法来指导学生模型的训练；在此共同特征学习过程中，通过将多个异构网络的特征投影到一个共同特征区间并使得学生模型集成众多教师模型的知识，而软目标蒸馏方法，使得学生模型的预测结果与教师模型的预测结果一致，从而得到一个具有所有教师模型的任务处理能力的更强大的学生模型。由于仅需模仿教师模型的预测结果，学生模型又可在没有任何人工标注的情况下训练得到。本发明适用于神经网络模型的知识重组，特别是异构图像分类任务模型的知识重组。
-
公开(公告)号：CN110930408A
公开(公告)日：2020-03-27
申请号：CN201910980491.3
申请日：2019-10-15
Applicant: 浙江大学
Abstract: 一种基于知识重组的语义图像压缩方法，包括下列步骤：1)获得预训练的编解码器结构模型以及无标签数据；分别选取图像压缩以及语义分割的预训练同构模型。语义分割模型对输入图像进行逐像素类别预测，图像压缩模型对数字图像进行压缩和解压；2)模型重组；对预训练模型的编码器进行零填充重组得到共享编码器，复用预训练模型的解码器形成多路解码的结构。该重组模型在功能上等价于多个独立模型，能够执行语义分割和图像压缩任务。3)迭代剪枝减小模型规模；基于余弦相似度计算重组模型各层参数的相似度，对相似度最高的卷积核进行剪枝。每轮剪枝后，以无标签数据作为重组模型的输入，以预训练模型的预测结果作为学习目标，进行多任务训练直至收敛。重复步骤3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够对图像进行压缩，同时可以根据需求从编码中解码原图或者解码语义，两个任务可独立执行。
-
公开(公告)号：CN114330554A
公开(公告)日：2022-04-12
申请号：CN202111639661.5
申请日：2021-12-29
Applicant: 浙江大学
Abstract: 一种面向智能安防的视觉深度模型知识重组方法，首先，收集安防边缘测的视觉数据，明确模型任务，收集数据进行标注，训练目标任务模型。然后，利用归因图计算目标模型和不同预训练模型之间的可迁移分数，将归一化的可迁移分数作为模型选择的概率，可放回地采样形成模型集合；在联邦学习范式的基础上，将目标模型分发到不同的节点，利用表征蒸馏迁移预训练模型的特征提取能力，在目标模型学习和迁移完成后，通过平均的方式在中心节点进行知识重组，重组过后的模型再次分发到选择的模型节点进一步迭代。最后，再利用目标数据集进行微调目标模型，从而学习得到一个在智能安防领域的目标任务上表现良好的视觉深度模型，并且保护了数据隐私和模型隐私。
-
公开(公告)号：CN110930408B
公开(公告)日：2021-06-18
申请号：CN201910980491.3
申请日：2019-10-15
Applicant: 浙江大学
Abstract: 一种基于知识重组的语义图像压缩方法，包括下列步骤：1)获得预训练的编解码器结构模型以及无标签数据；分别选取图像压缩以及语义分割的预训练同构模型。语义分割模型对输入图像进行逐像素类别预测，图像压缩模型对数字图像进行压缩和解压；2)模型重组；对预训练模型的编码器进行零填充重组得到共享编码器，复用预训练模型的解码器形成多路解码的结构。该重组模型在功能上等价于多个独立模型，能够执行语义分割和图像压缩任务。3)迭代剪枝减小模型规模；基于余弦相似度计算重组模型各层参数的相似度，对相似度最高的卷积核进行剪枝。每轮剪枝后，以无标签数据作为重组模型的输入，以预训练模型的预测结果作为学习目标，进行多任务训练直至收敛。重复步骤3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够对图像进行压缩，同时可以根据需求从编码中解码原图或者解码语义，两个任务可独立执行。
-
-
-
-
Search Results
5
records
(took 0.015 seconds)
