公开(公告)号：CN116524307A

公开(公告)日：2023-08-01

申请号：CN202310350662.0

申请日：2023-04-04

Applicant: 南京大学

Inventor： 陈力军 ,  刘佳 ,  王旭东 ,  吕欢欢 ,  白海洋

IPC: G06V10/778 ,  G06V10/82 ,  G06V10/774 ,  G06V10/42 ,  G06V10/26 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明提供了一种基于扩散模型的自监督预训练方法，包括以下步骤：步骤1，在预训练的数据集上基于噪声预测的方式训练扩散模型，并将其作为教师网络；步骤2，将步骤1中训练完的扩散模型中U‑Net网络中的上采样部分的特征图提取出来，并进行拼接；步骤3，将学生网络输出的特征图与步骤2中提取的特征图进行对齐，从而对学生网络进行训练；步骤4，通过步骤3训练完的学生网络得到图像的全局特征图。本发明方法对图像中不同区域的语义相关性进行了显式地建模，并且添加了对图像的全局特征的正则化约束，从而大幅提升了通过本发明方法预训练得到的模型在图像分类、目标检测和语义分割等下游任务的性能。