-
公开(公告)号：CN116151355B
公开(公告)日：2023-07-11
申请号：CN202310422202.4
申请日：2023-04-19
Applicant: 之江实验室
IPC: G06N3/08 , G06N3/0455 , G06N3/0442 , G06F40/295
Abstract: 本说明书公开了一种模型训练和业务执行的方法、装置、介质及设备。所述模型训练和业务执行的方法包括：将样本语句输入待训练业务模型，确定样本语句对应的初始语义特征，并对初始语义特征进行处理，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，根据目标特征，确定头尾指针矩阵以及字间关系矩阵，根据头尾指针矩阵以及字间关系矩阵，确定目标特征矩阵，基于目标特征矩阵，识别样本语句中包含的实体对象，以最小化识别出的实体对象与样本语句中实际包含的实体对象之间的偏差为优化目标，对业务模型进行训练。
-
公开(公告)号：CN115080748B
公开(公告)日：2022-11-11
申请号：CN202210980591.8
申请日：2022-08-16
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/205
Abstract: 本发明公开了一种基于带噪标签学习的弱监督文本分类方法和装置，包括如下步骤：S1：获取待标注文本和类别标签集合；S2：确定预训练自然语言模型；S3：获得待标注文本伪标签；S4：初始化文本分类模型，基于伪标签计算分类损失函数；S5：通过带噪标签损失筛选方法得到高置信度数据：将所有待标注文本的分类损失函数按升序排列，筛选前top‑N数据作为高置信度数据；本发明提供了一种基于带噪标签学习的弱监督文本分类方法和装置，解决在仅获取待标注文本和类别标签集合情况下，实现高准确率分类结果，减少文本标注成本。
-
公开(公告)号：CN114611715A
公开(公告)日：2022-06-10
申请号：CN202210512110.0
申请日：2022-05-12
Abstract: 本发明公开了基于标注者可靠度时序建模的众包主动学习方法和装置，所述方法包括以下步骤：初始化预测模型并建立可靠度时序模型，样本选择策略，众包标注者选择策略，样本分配策略，模型更新，迭代运算。本发明结合众包学习、主动学习以及时间序列建模，基于众包标注者可靠度时序建模，对标注者可靠度的变化进行实时追踪并筛选出可靠度最高的众包标注者，通过迭代运算不断更新更优的众包标注者以及信息度高的样本对预测模型不断优化，降低了众包标注成本，减少了低可靠度的标注者在学习中的负面影响，有效地提高了众包标签的质量以及预测模型的性能。
-
公开(公告)号：CN114332544B
公开(公告)日：2022-06-07
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
公开(公告)号：CN114332544A
公开(公告)日：2022-04-12
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
Patent Agency Ranking
公开(公告)号：CN114154648A
公开(公告)日：2022-03-08
申请号：CN202210124656.9
申请日：2022-02-10
Applicant: 之江实验室
IPC: G06N20/00
Abstract: 本发明涉及模型压缩领域，尤其涉及一种基于网络深度压缩的模型蒸馏方法、装置和介质，该方法使用余弦距离计算不同数据经过模型后的特征关系，基于斯皮尔曼相关公式构建损失函数，将简单模型不同层特征关系与复杂模型最后一层的特征关系进行匹配，并以此构建损失函数，引导简单模型不同层的数据特征关系向复杂模型最深层的数据特征关系靠近，使简单模型的浅层学习到更深层特征信息，从而实现网络深度的压缩。相较于大部分已有知识蒸馏方法主要应用于教师网络和学生网络相近深度的网络层，本发明方法考虑深度对网络提升的影响，直接进行浅层向深层的蒸馏学习，且本发明方法实现方法简便，效果提升显著，并可以与已有知识蒸馏方法同时使用提升效果。
-
公开(公告)号：CN114021629A
公开(公告)日：2022-02-08
申请号：CN202111248749.4
申请日：2021-10-26
Abstract: 本发明公开了一种基于均值动态时间规整的车辆轨迹运动模式提取方法。该方法先对原始轨迹进行初始化和重采样，获取重采样轨迹集合；根据重采样轨迹，计算基于均值动态时间规整的轨迹间距离；基于均值动态时间规整的轨迹间距离度量方法，并运用聚类算法进行聚类，得到聚类簇集合；最后为每个簇分别提取特征运动模式，得到特征运动模式集合。本发明通过采用限定的技术，可以准确地度量相似轨迹间距离，对长序列轨迹间距离度量更精准，适用于长序列轨迹的车辆行为分析，还可以从车辆轨迹数据集中提取特征运动模式；每一条提取的特征运动模式轨迹都可以直观地反映车辆的运动模式，更易于赋予运动模式语义赋予和可视化展示。
-
公开(公告)号：CN113918507A
公开(公告)日：2022-01-11
申请号：CN202111497148.7
申请日：2021-12-09
Applicant: 之江实验室
Abstract: 本发明的一种深度学习框架适配AI加速芯片的方法和装置，具体分为三个阶段：芯片类型定义、芯片类型注册、芯片内存支持，所述芯片类型定义就是把需要支持的芯片的类型以一个枚举值的形式定义到proto文件中去，从而使得框架内部可以正确识别该芯片类型；芯片类型注册是把该芯片所需的基础设施注册到哈希表中去，便于框架在需要的时候可以根据芯片类型方便地找到相应的内容；芯片内存支持是把该芯片内存相关的操作放到框架中去，使得框架可以对芯片的存储空间进行统一管理。本发明简化了深度学习框架适配AI加速芯片的工作。
-
公开(公告)号：CN113824802A
公开(公告)日：2021-12-21
申请号：CN202111398769.X
申请日：2021-11-24
Applicant: 之江实验室
Abstract: 本发明公开了一种去中心化分布式训练拓扑结构，包括：所述拓扑结构为n维超方形拓扑结构，是封闭的、紧致的、凸的无向图，所述拓扑结构由有限非空节点集合和有限边集合组成，所述拓扑结构的1维骨架是由一群在其所在空间对准每个维度整齐排列的等长的线段组成的，其中相对的线段互相平行，而相交于一点的线段则互相正交，本发明聚焦于去中心化分布式性能训练，将训练任务“均匀化”，将训练任务负荷均匀地分配到分布式训练系统中各个训练节点上，系统性能不再取决于单一训练节点性能，具有迭代耗时短，数据本地化，通信有效性高的优点。
-
公开(公告)号：CN112232511B
公开(公告)日：2021-03-30
申请号：CN202011470331.3
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务的预训练语言模型自动压缩方法及平台。该方法设计一种结构生成器的元网络，基于Transformer层采样的知识蒸馏方法构建知识蒸馏编码向量，利用结构生成器生成与当前输入的编码向量对应的蒸馏结构模型；同时提出伯努利分布采样的方法训练结构生成器；每轮迭代时，利用伯努利分布采样的方式迁移各个编码器单元，组成对应的编码向量；通过改变输入结构生成器的编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，可以学得能够为不同蒸馏结构生成权重的结构生成器；同时在已训练好的元学习网络基础上，通过进化算法搜索最优压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
-
-
-
-
-
-
-
-
Search Results
84
records
(took 0.034 seconds)
