-
公开(公告)号:CN117649568B
公开(公告)日:2024-05-03
申请号:CN202410128337.4
申请日:2024-01-30
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/762 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/082
Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中,通过获取训练完成的图像分类卷积神经网络以及输入图像,将输入图像输入该图像分类卷积神经网络中,确定各节点的参数以及各节点输出的该输入图像的激活特征,针对每一网络层,根据该网络层的各节点的参数和激活特征,确定核心参数和核心激活特征,并得到参数聚类结果和激活特征聚类结果,进而确定综合聚类结果,根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果,确定综合聚类结果,综合考虑了图像分类卷积神经网络的参数相似性和激活模式,考虑更全面,有效地减少了图像分类卷积神经网络的复杂性。
-
公开(公告)号:CN117009534B
公开(公告)日:2024-02-13
申请号:CN202311281379.3
申请日:2023-10-07
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/289 , G06F40/216
Abstract: 本申请涉及一种文本分类方法、装置、计算机设备以及存储介质。所述方法包括:对文本分类数据集进行分词处理,确定目标语义单元序列;根据目标语义单元序列构建样本数据集;将有标签数据集分别输入学生模型和标签训练教师模型,确定第一学生预测数据和第一教师预测数据,并将无标签数据集分别输入学生模型和对抗训练教师模型,确定第二学生预测数据和第二教师预测数据;根据第一学生预测数据、第一教师预测数据、第二学生预测数据和第二教师预测数据对所述学生模型进行参数调整,确定文本分类模型;将待分类文本输入所述文本分类模型,根据文本分类模型的输出结果确定待分类文本的文本分类标签。上述方法提高了文本分类的准确性。
-
公开(公告)号:CN116743660A
公开(公告)日:2023-09-12
申请号:CN202310903988.1
申请日:2023-07-21
Applicant: 之江实验室
IPC: H04L47/12 , H04L69/163 , H04L43/0882
Abstract: 本发明公开了一种面向广域网的拥塞控制方法:当交换机判定拥塞发生时,交换机获取接收缓冲区的网络包并构造拥塞通知报文;交换机直接将拥塞通知报文传递给发送方;其中,所述拥塞通知报文的目的IP地址为网络包的源IP地址,拥塞通知报文的源IP地址为网络包的目的IP地址;拥塞通知报文的目标TCP端口号为流量包的源TCP端口号,拥塞通知报文的源TCP端口号为网络包的目标TCP端口号;TCP头中拥塞窗口减小CWR和显示拥塞通知ECE同时被设置,表示该报文为拥塞通知报文;拥塞通知报文中TCP数据为拥塞状态相关信息。本发明还公开了一种面向广域网的拥塞控制装置。该方法及装置可以在广域网上传输拥塞通知报文,也可以缩短拥塞产生后的传输路径,提升拥塞控制的效果。
-
公开(公告)号:CN117035123B
公开(公告)日:2024-01-09
申请号:CN202311298503.7
申请日:2023-10-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备,所述方法应用于模型并行训练,所述模型被切分为不同的运算模块,各运算模块分别部署于不同的计算节点中,针对任一计算节点,该方法包括:根据训练样本及部署于该计算节点上的运算模块,得到待同步激活值;根据该待同步激活值与预存的输出激活值,得到输出激活值增量;对该输出激活值增量进行量化,得到量化激活值增量;将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求,提升模型的训练性能。(56)对比文件王国生.基于忆阻器的脉冲神经网络关键技术研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第2022年卷(第4期),I135-377.Richard Liaw等.Tune: A ResearchPlatform for Distributed Model Selectionand Training《.Arxiv》.2018,1-8.Dominic Masters等.Revisiting SmallBatch Training for Deep Neural Networks.《Arxiv》.2018,1-18.
-
公开(公告)号:CN116896532A
公开(公告)日:2023-10-17
申请号:CN202310902761.5
申请日:2023-07-21
Applicant: 之江实验室
IPC: H04L47/12 , H04L69/163 , H04L43/0882
Abstract: 本发明公开了一种面向最小带宽保障的网络拥塞控制方法,所述方法包括以下步骤:(1)区分网络流的类型,所述类型包括截止时间流和非截止时间流;(2)根据网络流的类型设置最小窗口值;(3)在拥塞控制的各阶段调节拥塞窗口时,根据最小窗口值和拥塞程度对拥塞窗口值进行调整。本本发明还公开了一种面向最小带宽保障的网络拥塞控制装置及计算机可读存储介质,用于实现上述面向最小带宽保障的网络拥塞控制方法。发明通过区分时间截止流和非截止时间流,保障TCP截止流最小带宽,也能达到拥塞控制的目的。
-
公开(公告)号:CN115982403A
公开(公告)日:2023-04-18
申请号:CN202310085564.9
申请日:2023-01-12
Applicant: 之江实验室
IPC: G06F16/583 , G06F16/55 , G06F16/51 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/09
Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。
-
公开(公告)号:CN117649568A
公开(公告)日:2024-03-05
申请号:CN202410128337.4
申请日:2024-01-30
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/762 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/082
Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中,通过获取训练完成的图像分类卷积神经网络以及输入图像,将输入图像输入该图像分类卷积神经网络中,确定各节点的参数以及各节点输出的该输入图像的激活特征,针对每一网络层,根据该网络层的各节点的参数和激活特征,确定核心参数和核心激活特征,并得到参数聚类结果和激活特征聚类结果,进而确定综合聚类结果,根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果,确定综合聚类结果,综合考虑了图像分类卷积神经网络的参数相似性和激活模式,考虑更全面,有效地减少了图像分类卷积神经网络的复杂性。
-
公开(公告)号:CN116992032B
公开(公告)日:2024-01-09
申请号:CN202311235665.6
申请日:2023-09-25
Applicant: 之江实验室
IPC: G06F16/35 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质,其中,上述方法包括:基于文本特征数据,得到初始神经网络;获取初始神经网络在目标卷积层的输入值和输出值;根据输入值,获取第一激活值;根据转移因子、第一激活值和第一权重值得到平滑系数;根据平滑系数,得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合,进而得到目标平滑系数;根据目标平滑系数对应得到目标神经网络模型,用于对待分类文本数据进行分类。通过本申请,解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差,导致文本分类的准确度较低问题,提高了文本分类的准确度。
-
公开(公告)号:CN117009534A
公开(公告)日:2023-11-07
申请号:CN202311281379.3
申请日:2023-10-07
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/289 , G06F40/216
Abstract: 本申请涉及一种文本分类方法、装置、计算机设备以及存储介质。所述方法包括:对文本分类数据集进行分词处理,确定目标语义单元序列;根据目标语义单元序列构建样本数据集;将有标签数据集分别输入学生模型和标签训练教师模型,确定第一学生预测数据和第一教师预测数据,并将无标签数据集分别输入学生模型和对抗训练教师模型,确定第二学生预测数据和第二教师预测数据;根据第一学生预测数据、第一教师预测数据、第二学生预测数据和第二教师预测数据对所述学生模型进行参数调整,确定文本分类模型;将待分类文本输入所述文本分类模型,根据文本分类模型的输出结果确定待分类文本的文本分类标签。上述方法提高了文本分类的准确性。
-
公开(公告)号:CN115982403B
公开(公告)日:2024-02-02
申请号:CN202310085564.9
申请日:2023-01-12
Applicant: 之江实验室
IPC: G06F16/583 , G06F16/55 , G06F16/51 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/09
Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。
-
-
-
-
-
-
-
-
-