-
公开(公告)号：CN114595333B
公开(公告)日：2022-08-09
申请号：CN202210447550.2
申请日：2022-04-27
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/169 , G06K9/62
Abstract: 本发明提供了一种用于舆情文本分析的半监督方法和装置，针对标注样本、未标注样本采用半监督方法提高舆情文本分析的分类准确率，首先获取舆情数据集，对数据集进行预处理；预处理后的样本使用数据增强算法生成数据增强样本；使类别标签无监督抽取聚类方式为数据集中未标注的样本生成类别标签；采用词向量隐语义空间，计算相似度与线性插值运算，运算结果生成相似度插值样本；构建最终训练样本集；采用半监督方法并使用预训练语言模型，输入最终训练样本集，对模型进行训练得到分类模型，使用分类模型对测试集预测得出分类结果。对比传统文本分类实验表明，使用该方法和装置在少量标注舆情样本、未标注舆情样本情况下提高舆情文本分类的准确率。
-
公开(公告)号：CN114783003A
公开(公告)日：2022-07-22
申请号：CN202210714468.1
申请日：2022-06-23
Applicant: 之江实验室
Abstract: 本发明公开了一种基于局部特征注意力的行人重识别方法和装置，包括如下步骤：S1：获取原始监控视频图像数据集，并将原始监控视频图像数据集按比例划分训练集与测试集；S2：将原始监控视频图像训练集进行图像增强，得到增强图像，并将所述增强图像转化成序列数据；基于局部特征注意力的行人重识别技术，采用多头注意力机制神经网络对捕捉提取视频图像特征序列，使用多头注意力机制代替卷积神经网络中的卷积核，采用全连接层与激活函数，针对行人局部特征序列通过权值矩阵组合成完整行人特征序列，将已得到行人特征序列进行预测，输出行人在图像中位置坐标并框选出行人，实现行人重识别。
-
公开(公告)号：CN114758081A
公开(公告)日：2022-07-15
申请号：CN202210670964.1
申请日：2022-06-15
Applicant: 之江实验室
Abstract: 本发明公开了一种基于神经辐射场的行人重识别三维数据集构建方法和装置，包括如下步骤：S1：通过一组不同视角的相机对待录入行人进行图像采集；S2：通过场景中的相机射线，采样生成一个三维空间位置点集，将所述三维空间位置点集所对应相机的观察方向转换为三维笛卡尔单位向量；S3：将所述三维空间位置点集及其转换为三维笛卡尔单位向量的观察方向输入多层感知器，输出对应的密度和颜色；本发明一种基于神经辐射场的行人重识别三维数据集构建方法和装置，给出了一种全新的行人重识别数据集构建的方法，提供了数据集构建的新思路。相比于传统的数据集构建方法，通过多设备所采集的图像和空间位置，获取数据方式更加直接明了。
-
公开(公告)号：CN114548383A
公开(公告)日：2022-05-27
申请号：CN202210447287.7
申请日：2022-04-27
Applicant: 之江实验室
Abstract: 本发明提出了一种面向神经网络模型计算的图执行流水并行方法和装置，提供了一种深度学习训练系统中面向神经网络模型计算的图执行流水并行方法和装置。包括面向神经网络模型计算过程中的图执行流程和各功能模块协同工作的过程。所述面向神经网络模型计算的图执行流水并行方法是根据深度学习框架编译生成的物理计算图创建本机上的图执行体，通过设计为每个图执行体分配多个空闲内存块的方案，实现了整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，充分提高了内存的使用率和数据的并行速率。
-
公开(公告)号：CN114237918A
公开(公告)日：2022-03-25
申请号：CN202210183223.0
申请日：2022-02-28
Applicant: 之江实验室
Abstract: 本发明公开了一种面向神经网络模型计算的图执行方法和装置，包括根据深度学习框架编译生成的物理计算图，创建本机上的任务执行体，通过设计为每个任务执行体分配多个空闲内存块的方案，实现整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，本发明公开的面向神经网络模型计算的图执行方法和装置，以算子核函数的执行体为基本单元，以生产和消费的张量作为整个计算图中流动的数据，执行体以流水并行的方式实现模型的训练过程。在大规模深度神经网络的分布式应用场景下，本发明对用户的使用门槛较低，并且能够使模型学习到大量分批次流入神经网络的数据的内在关联，从而获得对应场景中的“智能”感知与判断能力。
-
Patent Agency Ranking
公开(公告)号：CN112364945B
公开(公告)日：2021-04-16
申请号：CN202110037237.7
申请日：2021-01-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于域‑不变特征的元‑知识微调方法及平台，该方法学习同类任务不同数据集上高度可转移的共有知识，即域‑不变特征，微调网络集中学得同类任务不同数据集对应的不同域上的共同域特征，快速适应任何不同的域。本发明提升了同类任务通用语言模型的参数初始化能力和泛化能力，最终微调得到同类下游任务语言模型的通用压缩架构。在元‑知识微调网络中，本发明设计域‑不变特征的损失函数，学习与域无关的通用知识，即最小化一个域‑不变特征的学习目标来驱动语言模型具有域‑不变特征的编码能力。
-
公开(公告)号：CN112232511B
公开(公告)日：2021-03-30
申请号：CN202011470331.3
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务的预训练语言模型自动压缩方法及平台。该方法设计一种结构生成器的元网络，基于Transformer层采样的知识蒸馏方法构建知识蒸馏编码向量，利用结构生成器生成与当前输入的编码向量对应的蒸馏结构模型；同时提出伯努利分布采样的方法训练结构生成器；每轮迭代时，利用伯努利分布采样的方式迁移各个编码器单元，组成对应的编码向量；通过改变输入结构生成器的编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，可以学得能够为不同蒸馏结构生成权重的结构生成器；同时在已训练好的元学习网络基础上，通过进化算法搜索最优压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
公开(公告)号：CN112561041A
公开(公告)日：2021-03-26
申请号：CN202110209931.2
申请日：2021-02-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于滤波器分布的神经网络模型加速方法及平台，引入滤波器彼此之间的距离来反映滤波器的分布，而且在此基础上设计了一种新颖的基于滤波器平均相似度分数的裁剪准则，即随着网络迭代训练的不断更新，根据当前通道滤波器的分布计算神经网络模型的裁剪准则。包括如下步骤：步骤一、定义问题，将神经网络卷积操作进行建模；步骤二、设计基于滤波器裁剪的神经网络优化目标；步骤三、计算基于Minkowski距离的滤波器相似度分数；步骤四、设计滤波器裁剪准则。
-
公开(公告)号：CN112241455A
公开(公告)日：2021-01-19
申请号：CN202011498328.2
申请日：2020-12-17
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多层级知识蒸馏的预训练语言模型自动压缩方法及平台，所述方法包括如下步骤：步骤一、构建多层级知识蒸馏，在自注意力单元、隐藏层状态、嵌入层三个不同层级上蒸馏大模型的知识结构；步骤二、训练元学习的知识蒸馏网络，生成多种预训练语言模型的通用压缩架构；步骤三、基于进化算法搜索最佳压缩结构。首先，研究基于元学习的知识蒸馏生成多种预训练语言模型的通用压缩架构；其次，在已训练好的元学习网络基础上，通过进化算法搜索最佳压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
公开(公告)号：CN112232511A
公开(公告)日：2021-01-15
申请号：CN202011470331.3
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务的预训练语言模型自动压缩方法及平台。该方法设计一种结构生成器的元网络，基于Transformer层采样的知识蒸馏方法构建知识蒸馏编码向量，利用结构生成器生成与当前输入的编码向量对应的蒸馏结构模型；同时提出伯努利分布采样的方法训练结构生成器；每轮迭代时，利用伯努利分布采样的方式迁移各个编码器单元，组成对应的编码向量；通过改变输入结构生成器的编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，可以学得能够为不同蒸馏结构生成权重的结构生成器；同时在已训练好的元学习网络基础上，通过进化算法搜索最优压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。
-
-
-
-
-
-
-
-
-
Search Results
133
records
(took 0.04 seconds)
