公开(公告)号：CN119377662A

公开(公告)日：2025-01-28

申请号：CN202411285397.3

申请日：2024-09-13

Applicant: 中国科学院信息工程研究所

Inventor： 周玉灿 ,  李洪成 ,  古晓艳 ,  李波 ,  王伟平

IPC: G06F18/214 ,  G06F18/24 ,  G06F18/213

Abstract: 本发明涉及一种多样性的语义分布匹配数据压缩方法和系统。该方法包括：在原始数据集上预训练一组模型，得到预训练模型；利用预训练模型提取的语义嵌入将原始数据集中的每个类别建模为高斯分布，其中类中心表示类别的固有特征，协方差矩阵表示类别中实例的语义变化；将合成数据集与原始数据集进行类中心对齐和协方差矩阵对齐；利用多个预训练模型对合成数据集进行优化，通过记忆库存储由先前预训练模型优化的合成数据集的历史类中心；将当前预训练模型优化的合成数据集的类中心与历史类中心进行对齐，得到语义多样化的合成数据集。本发明遵循基于分布匹配的框架，从语义信息的角度出发，充分考虑了语义信息，以增强压缩的合成实例的语义多样性。

公开(公告)号：CN117669698A

公开(公告)日：2024-03-08

申请号：CN202311555818.5

申请日：2023-11-21

Applicant: 中国科学院信息工程研究所

Inventor： 周玉灿 ,  李洪成 ,  古晓艳 ,  李波 ,  王伟平

IPC: G06N3/098 ,  G06N3/096 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/82 ,  G06V10/94 ,  G06V10/776 ,  G06V10/74

Abstract: 本发明公开了种主动定向式数据蒸馏的联邦学习方法、装置及系统，该方法包括：从服务器获取全局模型w(t)的当前参数；判断当前通信轮数t是否大于一设定的早期通信轮数T′；在t≤T′的情况下，基于本地数据集优化全局模型w(t)，并利用全局模型w(t)对本地数据集进行蒸馏后，将得到的局部模型和蒸馏数据返回至服务器，以使该服务器基于所有客户端返回的所述局部模型和所述蒸馏数据生成全局模型w(t+1)；在t>T′的情况下，基于本地数据集优化全局模型后，将得到的局部模型返回至服务器，以使该服务器基于所有客户端返回的所述局部模型 生成全局模型w(t+1)。本发明可以有效改善全局模型因数据异质性性能下降问题。

公开(公告)号：CN111753827B

公开(公告)日：2024-02-13

申请号：CN202010416704.2

申请日：2020-05-15

Applicant: 中国科学院信息工程研究所

Inventor： 王伟平 ,  乔峙 ,  周宇 ,  杨东宝 ,  周玉灿

IPC: G06V20/62 ,  G06V30/164 ,  G06V30/18 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明提供一种基于语义强化编码器解码器框架的场景文字识别方法及系统，将目标图像上的任意形状的文本矫正为水平文本，得到矫正后的图像；将矫正后的图像输入到卷积神经网络中提取视觉特征，利用循环神经网络从该视觉特征中提取序列信息；根据序列信息预测全局语义信息；利用上述全局语义信息初始化一基于注意力机制的门控循环单元GRU的状态，根据上述视觉特征与GRU每一个解码时间的隐状态计算注意力权重，根据该注意力权重对上述视觉特征进行加权，预测出图像上的每一个字符。能够有效地利用全局信息填补现有方法使用局部信息的不足，同时减小视觉信息与语义信息之间的鸿沟，从而使模型能够更好地处理低质量的图像。

公开(公告)号：CN112883216B

公开(公告)日：2022-09-16

申请号：CN202110226266.8

申请日：2021-03-01

Applicant: 中国科学院信息工程研究所

Inventor： 周玉灿 ,  程帅 ,  吴大衍 ,  李波 ,  王伟平

IPC: G06F16/55 ,  G06F16/583 ,  G06K9/62 ,  G06V10/774 ,  G06N3/08

Abstract: 本发明公开了一种基于扰动一致性自集成的半监督图像检索方法及装置，包括将图像输入训练后的半监督图像特征提取模型，得到该图像的特征，其中所述半监督图像特征提取模型包括：一卷积神经网络、一哈希层和一扰动一致性自集成模块；将图像的特征转换为图像离散的二值哈希码；依据二值哈希码进行检索，得到图像检索结果。本发明通过集成同一个样本在不同数据增强条件下的特征，能够发现每个类别的判别特征；通过设计的扰动一致性损失函数最大化无标记数据的哈希层输出与对应的集成特征的相似性，充分的利用了无标记数据提升网络的泛化能力；能够取得更好的检索效果。

公开(公告)号：CN112348048A

公开(公告)日：2021-02-09

申请号：CN202011040925.0

申请日：2020-09-28

Applicant: 中国科学院信息工程研究所

Inventor： 王伟平 ,  李晓倪 ,  周玉灿 ,  周宇

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种多结构多任务深度神经网络及其训练、分类方法。本网络包括M个特征提取单元，一个用于识别样本子类类别的分类分支CCB和由K个用于对超类进行分类的超类分类器组成的超类分类分支MSCBs；每一超类分类器分别与一特征提取单元连接，用于基于提取的样本特征识别样本的超类类别；网络的损失函数为其中LCCB为CCB的损失函数，为第k个超类分类器的损失函数，分别是CCB、第k个超类分类器对样本x预测的子类和超类，c、是第k个分层标记结构Hk中的子类真实值、超类真实值。