-
公开(公告)号：CN118378091A
公开(公告)日：2024-07-23
申请号：CN202410791652.5
申请日：2024-06-19
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/27 , G06F18/2431 , G06N3/0464 , G06N3/084
Abstract: 测天文光红移的标准数据集和基线模型的构建方法和系统，其方法包括：收集与测光红移任务相关的天文图像数据，进行数据预处理；计算红移真值并进行归一化处理，将红移数据转换为三元组；选择深度模型，根据分类数量修改模型头部为并行的分类头和回归头，并随机初始化网络参数；对输入样本计算分类损失和回归损失，并使用梯度下降算法更新神经网络模型参数，直至模型在训练集上的损失不再降低；联合建模深度神经网络和贝叶斯神经网络实现红移的不确定性估计；最后将训练好的模型进行部署，完成红移估计任务。本发明针对测光红移估计问题，建立了完整的机器学习数据集和基线模型方法，推进了机器学习方法在天文测光红移问题的应用。
-
公开(公告)号：CN118365975A
公开(公告)日：2024-07-19
申请号：CN202410799005.9
申请日：2024-06-20
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/776 , G06V10/82 , G06N3/0464 , G06N20/00
Abstract: 天文图像形态分类标准数据集和基线模型构建方法与系统，其方法包括：收集与形态分类任务相关的天文图像数据，设定形态分类问题；针对收集的图像数据和设立的形态分类问题进行粗标注，设计正负样本阈值机制筛选高质量的标注数据并划分训练集和验证集；选择待训练的深度模型，修改模型头部为多个并行的全连接，实现全连接网络与形态分类问题相互对应，随机初始化网络参数；计算每个全连接神经网络的预测值与真值之间的交叉熵之和作为训练损失，并根据梯度下降算法更新网络参数；最后将训练好的模型进行部署，完成形态分类任务。本发明建立了形态分类问题的标准数据集和评价指标，能够同时用于所有的形态分类问题。
-
公开(公告)号：CN117009830B
公开(公告)日：2024-02-13
申请号：CN202311278779.9
申请日：2023-10-07
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/214 , G06F18/20 , G06F17/10 , G06N3/042
Abstract: 一种基于嵌入特征正则化的知识蒸馏方法和系统，其方法包括：收集与识别任务相关的标注图像数据，计算教师模型在整个训练集上的各个类别的中心特征；将学生模型的嵌入特征投影到类别中心方向，将教师模型的嵌入特征旋转到类别中心方向，通过正则化学生模型的投影特征和教师模型的旋转特征，构建特征正则化损失：增大学生模型的特征范数，约束学生模型的特征的方向与类别中心方向一致；将特征正则化损失插入到现有的知识蒸馏框架中，训练学生模型；将训练好的学生模型部署到终端设备，根据终端设备接收的新数据，预测概率向量，进而完成相
-
公开(公告)号：CN117237744A
公开(公告)日：2023-12-15
申请号：CN202311497032.2
申请日：2023-11-10
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种图像分类模型的训练方法、装置、介质及电子设备，包括：获取各样本图像，以及确定各样本图像分别在预设的各目标类别中所属的类别，并作为各样本图像分别对应的标注。基于各样本图像以及各标注，对预先训练的第一模型进行训练，得到第二模型。融合各样本图像中不同类别的样本图像，得到训练样本。根据训练样本以及第二模型，确定训练样本对应的标准特征。将训练样本输入第一模型，确定训练样本对应的样本特征。至少根据样本特征以及标准特征，对第一模型进行训练，并将训练完成的第一模型作为图像分类模型，增强图像分类模型的表征能力，提高图像分类模型的输出结果的准确性。
-
公开(公告)号：CN117009830A
公开(公告)日：2023-11-07
申请号：CN202311278779.9
申请日：2023-10-07
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/214 , G06F18/20 , G06F17/10 , G06N3/042
Abstract: 一种基于嵌入特征正则化的知识蒸馏方法和系统，其方法包括：收集与识别任务相关的标注图像数据，计算教师模型在整个训练集上的各个类别的中心特征；将学生模型的嵌入特征投影到类别中心方向，将教师模型的嵌入特征旋转到类别中心方向，通过正则化学生模型的投影特征和教师模型的旋转特征，构建特征正则化损失：增大学生模型的特征范数，约束学生模型的特征的方向与类别中心方向一致；将特征正则化损失插入到现有的知识蒸馏框架中，训练学生模型；将训练好的学生模型部署到终端设备，根据终端设备接收的新数据，预测概率向量，进而完成相关识别任务。本发明通过增大学生特征的范数，和约束方向一致于类别中心，知识蒸馏性能更优。
-
Patent Agency Ranking
公开(公告)号：CN116028891B
公开(公告)日：2023-07-14
申请号：CN202310123067.3
申请日：2023-02-16
Applicant: 之江实验室
IPC: G06F18/25 , G06F18/214 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于多模型融合的工业异常检测模型训练方法和装置，该方法包括：步骤一，获取传感器数据后进行预处理；步骤二，将预处理得到的传感器特征张量分别输入多个教师模型和学生模型，获取模型中各个网络层的特征；步骤三，将所述特征中的中间层张量映射为公共空间张量；步骤四，对所有教师模型的公共空间张量加权平均，得到与学生公共空间张量相对应的教师加权张量，将所有教师模型任务层向量横向拼接成教师任务层拼接向量；步骤五，获取模型的蒸馏损失、任务损失以及预测损失，并加权求和得到总损失；步骤六，重复以上步骤，最小化总损失，更新学生模型神经网络参数，直至收敛，最终固定学生模型神经网络参数，获得目标模型，完成训练。
-
公开(公告)号：CN116091895B
公开(公告)日：2023-07-11
申请号：CN202310361997.2
申请日：2023-04-04
Applicant: 之江实验室
IPC: G06V10/82 , G06V10/80 , G06V10/764 , G06N3/0464 , G06N3/084
Abstract: 本说明书公开了一种面向多任务知识融合的模型训练方法及装置。首先，获取图像数据。其次，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到各等量特征块识别模型。然后，针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。本方法可以使得目标识别模型能够同时解决预先训练的各识别模型的任务。
-
公开(公告)号：CN116091895A
公开(公告)日：2023-05-09
申请号：CN202310361997.2
申请日：2023-04-04
Applicant: 之江实验室
IPC: G06V10/82 , G06V10/80 , G06V10/764 , G06N3/0464 , G06N3/084
Abstract: 本说明书公开了一种面向多任务知识融合的模型训练方法及装置。首先，获取图像数据。其次，根据待训练的目标识别模型中的特征块数量，对预先训练的各识别模型进行恒等变换，得到各等量特征块识别模型。然后，针对目标识别模型中包含的每个特征块，从各等量特征块识别模型中确定出与该特征块相对应的特征块，作为目标特征块，将各目标特征块输出的图像特征进行拼接，得到该特征块对应的拼接后图像特征，并将该特征块输出的图像特征与该特征块对应的拼接后图像特征之间的偏差，作为该特征块对应的偏差。最后，以最小化各特征块对应的偏差为优化目标，对目标识别模型进行训练。本方法可以使得目标识别模型能够同时解决预先训练的各识别模型的任务。
-
公开(公告)号：CN117574982B
公开(公告)日：2024-04-26
申请号：CN202410060305.5
申请日：2024-01-16
Applicant: 之江实验室
IPC: G06N3/08 , G06N3/045 , G06N3/0464 , G06N3/047 , G06N3/0499 , G06V10/82 , G06V10/774 , G06V10/764
Abstract: 一种基于线性变换的预训练模型微调方法和装置，其方法包括：收集与下游任务的相关图像数据，对图像数据划分训练集、验证集，并进行适当的预处理，选择合适的预训练模型，修改该模型的任务头，以适配下游任务，并冻结预训练模型的骨干部分；在相邻层间插入线性变换模块，所述线性变换模块用于对特征的缩放和平移；利用下游任务的数据微调预训练模型，保存在验证集上表现最优的模型权重；利用重参数技术将线性变换模块的参数融入到相邻层中，最后部署模型，完成下游任务。本发明引入的待学习参数少，在多种下游任务上，能够实现更高的准确率，并且，在模型推理阶段采用重参数技术将引入的参数融入了模型骨干层中，极大地简化了模型的部署。
-
公开(公告)号：CN116205290B
公开(公告)日：2023-09-15
申请号：CN202310499470.6
申请日：2023-05-06
Applicant: 之江实验室
IPC: G06N3/096 , G06N3/0464 , G06V10/764 , G06V10/82 , G06V10/80 , G06V10/74
Abstract: 一种基于中间特征知识融合的知识蒸馏方法和装置，将图像数据喂入教师模型和学生模型，并提取教师模型和学生模型的各阶段中间特征；构建阶段级残差连接，将学生模型某一阶段中间特征与上一阶段特征实现特征知识融合；将教师模型与融合后的学生模型分别经过全局平均池化，构建出语义类别特征向量，对该特征向量计算交叉熵损失，以最大化特征相似性；将学生模型预测输出与类别标签的分类损失与特征向量相似性损失加权求和，训练学生模型。还包括一种基于中间特征知识融合的知识蒸馏系统。本发明相较于现有技术，本发明充分融合教师模型的中间特征知识，知识蒸馏性能更优。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.037 seconds)
