-
公开(公告)号：CN113673242B
公开(公告)日：2024-10-15
申请号：CN202110960433.1
申请日：2021-08-20
IPC: G06F40/289 , G06F40/211 , G06F18/2415 , G06F18/23 , G06N3/084 , G06N3/0895
Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。
-
公开(公告)号：CN114331940B
公开(公告)日：2025-05-23
申请号：CN202111677658.2
申请日：2021-12-31
IPC: G06T5/50
Abstract: 本发明公开了联合局部非局部流形和截断算子的高光谱融合方法及装置，将输入高分辨率多光谱图像划分为不同子块并重构为矩阵形式，所有子块分布于多个低维流形附近；对每一个子块，使用最近邻搜索算法寻找非局部相似图像块，构建非局部相似关系，同时构建每个图像块与周围四个相邻块的相似关系，将局部与非局部相似关系整合获得流形映射矩阵L；对L进行特征分解获得特征基并构建截断算子，将L和截断算子并入高分辨率HSI融合模型，获得最终模型。使用交替方向乘子法ADMM算法优化上述模型，并进行解耦操作，最终使用共轭梯度算法PCG逐波段求解。
-
公开(公告)号：CN113191385B
公开(公告)日：2022-06-03
申请号：CN202110318366.3
申请日：2021-03-25
Applicant: 之江实验室
IPC: G06V10/774 , G06V10/762 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法，包括如下步骤：S1，获取待标注图像，收集预训练图像分类模型；S2，将预训练图像分类模型拆分成特征提取模型与标签预测模型，并初始化，固定标签预测模型参数，不参与后续迁移训练；S3，约束特征提取模型，使自动标注模型的输出具体类别确定，整体分布离散；S4，对特征提取模型输出特征进行聚类；S5，筛选出大小超过阈值的聚类簇，所对应的类别组成为待标注图像标签空间；S6，给所有待标注图像打上伪标签；S7，重新聚类并分配伪标签，对特征提取模型进行有监督训练；S8，迭代S3至S7；S9，使用迁移后的自动标注模型对待标注图像进行推理，得到标注结果。
-
公开(公告)号：CN112232511B
公开(公告)日：2021-03-30
申请号：CN202011470331.3
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务的预训练语言模型自动压缩方法及平台。该方法设计一种结构生成器的元网络，基于Transformer层采样的知识蒸馏方法构建知识蒸馏编码向量，利用结构生成器生成与当前输入的编码向量对应的蒸馏结构模型；同时提出伯努利分布采样的方法训练结构生成器；每轮迭代时，利用伯努利分布采样的方式迁移各个编码器单元，组成对应的编码向量；通过改变输入结构生成器的编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，可以学得能够为不同蒸馏结构生成权重的结构生成器；同时在已训练好的元学习网络基础上，通过进化算法搜索最优压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
公开(公告)号：CN112232511A
公开(公告)日：2021-01-15
申请号：CN202011470331.3
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务的预训练语言模型自动压缩方法及平台。该方法设计一种结构生成器的元网络，基于Transformer层采样的知识蒸馏方法构建知识蒸馏编码向量，利用结构生成器生成与当前输入的编码向量对应的蒸馏结构模型；同时提出伯努利分布采样的方法训练结构生成器；每轮迭代时，利用伯努利分布采样的方式迁移各个编码器单元，组成对应的编码向量；通过改变输入结构生成器的编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，可以学得能够为不同蒸馏结构生成权重的结构生成器；同时在已训练好的元学习网络基础上，通过进化算法搜索最优压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
Patent Agency Ranking
公开(公告)号：CN114119426A
公开(公告)日：2022-03-01
申请号：CN202210090686.2
申请日：2022-01-26
IPC: G06T5/00
Abstract: 本发明公开了非局部低秩转换域与全连接张量分解图像重构方法及装置，包括：S1，输入待修复图像；S2，构建张量分解模型，包括：S2.1，分割输入图像，得到非局部张量块；S2.2，将非局部张量块引入B样条转换域，得到非局部张量块的转换域形式；S2.3，通过非局部张量块，构造非局部相似张量块组；S2.4，联合全连接张量分解，构造全连接张量分解因子；S2.5，构建低秩张量补全模型，并根据S2.1‑2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型；S3，构建图像修复模型，获取待修复图像，通过张量分解模型得到的修复图像张量块组，得到修复后的图像。使得在光谱图像修复中，整图像重构更加精准。
-
公开(公告)号：CN113673242A
公开(公告)日：2021-11-19
申请号：CN202110960433.1
申请日：2021-08-20
IPC: G06F40/289 , G06F40/211 , G06K9/62 , G06N3/08
Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。
-
公开(公告)号：CN113420865A
公开(公告)日：2021-09-21
申请号：CN202110660174.0
申请日：2021-06-15
Applicant: 之江实验室
Abstract: 本发明涉及一种基于多算子融合的深度神经网络推理加速方法和系统，该方法具体为：首先输入神经网络计算图，获取神经网络计算逻辑图，依据神经网络算子间计算关系，获取完整的神经网络前向计算的符号表达式；然后使用可融合算子搜索方法，利用算子符号表达式自动简化系统，化简神经网络前向计算的符号表达式，获取最简的符号表达式，实现多算子融合；再依据多算子融合结果，根据获得的最简符号表达式，构建新的神经网络计算推理逻辑图，解耦最简符号表达式，离线计算并存储为新的模型参数，构建相应的神经网络模型结构；最后加载新的模型参数实现推理加速。本发明能够减少算子执行间隙的开销，提升设备计算资源利用率，优化网络整体推理速度。
-
公开(公告)号：CN113191385A
公开(公告)日：2021-07-30
申请号：CN202110318366.3
申请日：2021-03-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法，包括如下步骤：S1，获取待标注图像，收集预训练图像分类模型；S2，将预训练图像分类模型拆分成特征提取模型与标签预测模型，并初始化，固定标签预测模型参数，不参与后续迁移训练；S3，约束特征提取模型，使自动标注模型的输出具体类别确定，整体分布离散；S4，对特征提取模型输出特征进行聚类；S5，筛选出大小超过阈值的聚类簇，所对应的类别组成为待标注图像标签空间；S6，给所有待标注图像打上伪标签；S7，重新聚类并分配伪标签，对特征提取模型进行有监督训练；S8，迭代S3至S7；S9，使用迁移后的自动标注模型对待标注图像进行推理，得到标注结果。
-
公开(公告)号：CN116384446A
公开(公告)日：2023-07-04
申请号：CN202310235078.0
申请日：2023-03-06
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/092 , G06N3/086
Abstract: 一种基于变异器的神经网络架构搜索方法。包括：用户定义超级网络搜索空间，实例化超级网络；获取实例化超级网络的搜索策略的分支选择，使用突变器保存策略选择结果；利用突变器对超级网络算法的逻辑计算图进行转换；训练超级网络，并根据反馈信息调整搜索策略。本发明利用变异器抽象和控制流优化，实现计算加速和显存占用优化。该技术通过分析和优化现有网络计算图逻辑，对原有计算逻辑进行优化，以减少冗余算子执行开销并且提升设备显存资源利用率，从而实现多网络整体推理训练的优化。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.059 seconds)
