公开(公告)号：CN119418108A

公开(公告)日：2025-02-11

申请号：CN202411467737.4

申请日：2024-10-21

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  陈全润 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/094 ,  G06N5/025

Abstract: 本发明提出一种基于因果扩散模型的鲁棒图像分类方法，包括：通过条件扩散模型建模结构因果模型；从图像数据集采集作为训练样本的样本图像；通过结构因果模型提取训练样本的因果特征和非因果特征并计算因果信息瓶颈，最大化因果信息瓶颈，更新结构因果模型，得到中间模型；采用中间模型生成该训练样本的因果特征，指导中间模型预测训练样本的预测类别，并根据训练样本的预测类别和类别标签构建损失函数，训练中间模型，得到图像分类模型；获取已标记目标类别的对抗样本图像，应用图像分类模型对接收的对抗样本进行净化处理，得到净化图像；利用图像分类模型提取净化图像的因果特征，并基于净化图像的因果特征得到净化图像的图像分类结果。

公开(公告)号：CN115658881A

公开(公告)日：2023-01-31

申请号：CN202211215316.3

申请日：2022-09-30

Applicant: 中国科学院计算技术研究所

Inventor： 郭嘉丰 ,  陈薇 ,  张儒清 ,  陈璐 ,  范意兴 ,  程学旗

IPC: G06F16/34 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提出一种基于因果关系的序列到序列文本摘要生成方法和系统，属于自然语言处理和自动文本摘要生成领域。本方法受到因果理论的启发，从数据生成的角度研究了摘要任务中各要素的因果关系。该方法首先引入两个不可观测变量，得出摘要任务的结构因果模型；然后根据结构因果模型得出相应的序列到序列生成框架，用于建模原文和摘要的生成过程。该框架包含三个核心模块：双隐变量变分编码器、原文重构解码器和摘要预测解码器。此方法不仅比现有的端到端深度文本摘要方法具备更强的可解释性，还具备更好的摘要性能和更强的泛化能力。该方法是一个具备强适用性的序列到序列框架，因此可以迁移到更多模型主体、生成任务和不同数据集上。

公开(公告)号：CN119418123A

公开(公告)日：2025-02-11

申请号：CN202411558624.5

申请日：2024-11-04

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/774 ,  G06N5/04

Abstract: 本发明提出一种基于多模态模型CLIP的隐空间净化的图像分类方法和装置，包括：将待分类图片输入图文多模态对比预训练模型的图像编码器，得到待分类图片在隐空间上的表示向量；使用图文多模态对比预训练模型的文本编码器，得到空类别文本所表示的空类别文本嵌入向量；计算表示向量和空类别文本嵌入向量的概率似然值；提取表示向量的向量长度与方向矢量，计算似然概率值对方向矢量的梯度，采用梯度上升方法对方向矢量进行更新同时保持向量长度不变，得到净化向量；通过选择与最终净化向量相似度最高的类别文本嵌入向量，将类别文本嵌入向量对应的图像类别作为类别文本嵌入向量的分类结果。

公开(公告)号：CN115577068A

公开(公告)日：2023-01-06

申请号：CN202210974839.X

申请日：2022-08-15

Applicant: 中国科学院计算技术研究所

Inventor： 郭嘉丰 ,  范意兴 ,  王苑铮 ,  陈薇 ,  张儒清 ,  程学旗

IPC: G06F16/33 ,  G06N3/02

Abstract: 本发明实施例提供一种实体召回方法，包括：S1、获取待查询实体，利用预先训练的第一编码神经网络对待查询实体进行编码，得到待查询实体的多维浮点值查询向量；S2、将多维浮点值查询向量中每个维度的浮点值按照预设规则映射为非浮点的第一数值或者第二数值，得到多维二值查询向量；S3、根据待查询实体的多维二值查询向量在实体知识库选取部分规范实体生成召回的候选实体集合，其中所述实体知识库包括规范化命名的多个规范实体及按照与每个规范实体对应的多维二值实体向量。本发明将浮点值形式的向量转换为二值形式的向量，降低存储空间占用并提高计算效率。

公开(公告)号：CN115761414A

公开(公告)日：2023-03-07

申请号：CN202211536222.6

申请日：2022-12-01

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  陈薇 ,  李家宁 ,  张明坤

IPC: G06V10/774 ,  G06V10/82

Abstract: 本发明提出一种鲁棒数据集蒸馏方法，包括：在原训练数据集中进行随机采样，作为初始化的蒸馏数据集；对该原训练数据集进行随机采样，得到原样本采样集；为该原样本采样集添加对抗扰动，得到扰动样本采样集；分别计算该扰动样本采样集与该蒸馏数据集的特征表示或网络梯度，以该特征表示或网络梯度的差异作为损失函数；根据该损失函数反向传播对该蒸馏数据集进行优化更新，不断迭代优化过程，直至损失函数收敛，保存当前蒸馏数据集作为最终的鲁棒蒸馏数据集。以该鲁棒蒸馏数据集代替该原训练数据集，训练目标深度神经网络模型完成图像识别分类。本发明将对抗鲁棒特性蒸馏到鲁棒蒸馏数据集，从而提升蒸馏数据集训练得到模型的鲁棒性。