一种面向人工智能大模型高效训练的并行策略搜索方法

    公开(公告)号:CN116680301A

    公开(公告)日:2023-09-01

    申请号:CN202310781759.7

    申请日:2023-06-29

    Applicant: 南京大学

    Inventor: 李武军 林昊 吴轲

    Abstract: 本发明公开了一种面向人工智能大模型高效训练的并行策略搜索方法,步骤如下:输入大模型;获取系统执行性能信息和大模型的执行性能信息;利用代价模型估计大模型在当前系统上的执行时间开销和存储开销;以流水线并行训练的每次迭代所花费的时间为优化目标,建立用于自动搜索大模型的并行训练策略的混合整数二次规划数学模型并求解;输出最优的大模型的并行训练策略。本发明支持流水线并行、数据并行、张量并行和优化器并行,策略空间大,搜索时间短,可应用于大模型的单机多卡并行训练和多机集群的分布式训练,提升大模型的训练效率。

    一种用于加速机器学习训练的自适应数据采样方法

    公开(公告)号:CN110110860B

    公开(公告)日:2023-07-25

    申请号:CN201910371632.1

    申请日:2019-05-06

    Applicant: 南京大学

    Abstract: 本发明公开了一种用于加速机器学习训练的自适应数据采样方法,根据每个样本数据上损失函数的利普希茨常数从样本集合中选取一个子集。接下来的若干轮迭代中,将使用这个样本集合的子集代替完整的训练样本集合进行训练,直至下一次的样本数据选择。本发明的方法能在使用部分样本进行训练的情况下不损失最终结果的准确性,所以达到了加速机器学习训练过程的效果。

    一种基于频域扰动的说话人识别系统查询攻击方法

    公开(公告)号:CN116418574A

    公开(公告)日:2023-07-11

    申请号:CN202310335164.9

    申请日:2023-03-31

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于频域扰动的说话人识别系统查询攻击方法,步骤如下:初始化基于频域的对抗扰动向量,然后进行循环:每次循环在全一向量和初始对抗扰动向量之间选择添加后刚好使得目标系统误判说话人身份的中间扰动;利用蒙特卡洛梯度估计方法获得在新扰动处的梯度;尝试将当前扰动按照梯度方向移动一段距离,这段距离通过如果移动后无法误导目标系统则将移动距离减半,重复这个过程直到可以成功误导目标系统,将经过移动后的扰动作为新的初始扰动参与到下一轮循环。不断重复以上步骤,达到停止条件时,将中间扰动添加到原始音频上作为对抗音。本发明能够在低于200的查询次数内成功欺骗说话人识别系统,使目标系统错误判断语音中说话人的身份。

    一种基于对抗协同训练的半监督医疗图像分割方法

    公开(公告)号:CN110097131B

    公开(公告)日:2023-04-28

    申请号:CN201910378091.5

    申请日:2019-05-08

    Applicant: 南京大学

    Abstract: 本发明公开一种基于对抗协同训练的半监督医疗图像分割方法,使用少量有标注的医疗图像数据以及大量无标注的医疗图像数据来训练神经网络分割模型从而提升模型性能。模型使用了两个结构不同的解码器分支,这两个解码器分支共享同一个编码器,通过协同训练的方法可以使得两个解码器分支互相学习。同时,模型还使用对抗学习方法来训练一个判别器,判别器可以学习到分割结果和真实标签之间的高阶连续性,从而使得分割网络的输出在视觉上更接近真实标签。同时判别器还可以选择无标注数据的伪标签中置信度较高的部分来训练分割模型。本发明提供的方法不受疾病和病灶种类的限制,可以用于肝脏、口腔等各种部位疾病的医疗图像分割,具有很好的普适性和通用性。

    基于稠密连接时延神经网络的多说话人中文语音合成方法

    公开(公告)号:CN114882863A

    公开(公告)日:2022-08-09

    申请号:CN202210500464.3

    申请日:2022-05-09

    Applicant: 南京大学

    Inventor: 李武军 周佳依

    Abstract: 本发明公开一种基于稠密连接时延神经网络的多说话人中文语音合成方法,利用基于稠密连接时延神经网络的多说话人中文语音合成网络中说话人编码器模块从参考语音频谱中提取说话人嵌入,说话人编码器模块结构简单且参数量小,提取的说话人嵌入融合了多层次信息,因此可与多说话人中文语音合成网络中的其他模块一起优化,在简化训练流程的同时能够提取更适用于语音合成任务的说话人嵌入。其次将多说话人中文语音合成网络中文本编码器模块的输出作为键和值,说话人编码器模块的输出作为查询,输入到编码器的放缩点积注意力机制中生成条件文本表示作为解码器的输入,使说话人嵌入能够有效控制合成语音中的风格,提高合成语音的自然度和相似度。

    一种异常SQL检测方法及装置

    公开(公告)号:CN112100617A

    公开(公告)日:2020-12-18

    申请号:CN202010970567.7

    申请日:2020-09-15

    Abstract: 本申请提供一种异常SQL检测方法及装置,该方法包括:获取待检测SQL语句;对待检测SQL语句进行特征提取,确定待检测SQL语句对应的第一特征向量;基于预设的哈希函数,确定第一特征向量对应的哈希编码;根据哈希编码,确定待检测SQL语句在预设的哈希库中所对应的多个近邻语句;分别计算第一特征向量与各近邻语句所对应的第二特征向量之间的距离;根据距离的升序排序结果,确定预设数量的目标语句;根据各目标语句的预设语句标签,确定待检测SQL语句的检测结果。通过确定待检测SQL语句的邻近语句,根据待检测SQL语句与各邻近语句之间的距离,进一步确定目标语句,在保证了检测精度的同时,提高了检测效率。

Patent Agency Ranking