一种模型训练的方法、装置、存储介质及电子设备

    公开(公告)号:CN116167461B

    公开(公告)日:2023-07-11

    申请号:CN202310435496.4

    申请日:2023-04-21

    Inventor: 王宏升 陈光

    Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,本方法在前向计算过程中,将后向函数按照前向计算的顺序入栈存储,并通过存储后向函数在栈中的位置与前向输出张量的方式,将前向输出张量与后向函数绑定,既能够在前向计算的过程中构建后向计算图的逻辑,又隐式地维护了前向计算与后向计算之间的依赖联系,使得后向计算确定梯度时的速度和效率得以提高,能够更好的进行模型训练。

    一种运动状态的检测方法、装置、存储介质及电子设备

    公开(公告)号:CN116152299B

    公开(公告)日:2023-07-11

    申请号:CN202310433919.9

    申请日:2023-04-21

    Inventor: 林峰 王宏升 陈光

    Abstract: 本说明书公开了一种运动状态的检测方法、装置、存储介质及电子设备。所述运动状态的检测方法包括:针对待检测视频的每帧图像,确定该帧图像对应的全局图像特征,对全局图像特征进行处理,确定目标对象在该帧图像中所对应的局部图像特征,基于所述局部图像特征与目标对象在其他各帧图像中所对应的局部图像特征之间的相似度,根据各帧图像对应的时间信息以及目标对象在各帧图像中的空间信息,确定目标对象在该帧图像中的运动状态特征,根据目标对象在每帧图像中的运动状态特征,确定目标对象对应的运动状态轨迹,并基于运动状态轨迹对目标对象的运动状态进行检测。

    一种用于计算图编译的优化方法及装置

    公开(公告)号:CN115268936B

    公开(公告)日:2022-12-27

    申请号:CN202211177796.9

    申请日:2022-09-27

    Abstract: 本发明公开了一种用于计算图编译的优化方法及装置,包括以下步骤:步骤S1:将计算图转换为中间表示;步骤S2:分析依赖关系;步骤S3:构建工作栈;步骤S4:初始化为未激活状态;步骤S5:弹出栈顶节点元素,并更新当前轮迭代输入节点集合;步骤S6:将依赖所述步骤S5的栈顶节点的元素依次添加到栈顶位置,直到工作栈清空为止;步骤S7:采用位向量实现达到不动点状态的中间表示;步骤S8:为达到不动点状态的中间表示的节点包含的有效张量变量分配寄存器。本发明提供了一种解析所述中间表示节点动态地执行至不动点状态的方法,并且优化了为所述中间表示不动点状态下各节点所包含的张量变量分配空闲寄存器的实现方法,提升计算图在运行时的执行效率。

    一种用于图计算并行执行的中间表示方法及装置

    公开(公告)号:CN115268877A

    公开(公告)日:2022-11-01

    申请号:CN202211177798.8

    申请日:2022-09-27

    Abstract: 本发明公开了一种用于图计算并行执行的中间表示方法及装置,包括以下步骤:步骤S1:将神经网络编译为计算图;步骤S2:定义计算图中张量变量的分支状态;步骤S3:定义计算图中张量变量的数据依赖关系;步骤S4:定义计算图中张量变量的控制依赖关系;步骤S5:构建计算图中张量变量的数据依赖关系图;步骤S6:构建计算图中张量变量的控制依赖关系图;步骤S7:将控制依赖转换为数据依赖。本发明从全局角度分析计算图执行过程中计算图中不同分支线程的张量变量之间的依赖关系以及基于依赖关系推导全局计算图中可并行执行分支线程的并行计算方法,通过分析计算图执行过程中不同分支线程的张量变量之间的依赖关系,优化计算图的编译效率。

    一种用于舆情文本分析的半监督方法和装置

    公开(公告)号:CN114595333A

    公开(公告)日:2022-06-07

    申请号:CN202210447550.2

    申请日:2022-04-27

    Abstract: 本发明提供了一种用于舆情文本分析的半监督方法和装置,针对标注样本、未标注样本采用半监督方法提高舆情文本分析的分类准确率,首先获取舆情数据集,对数据集进行预处理;预处理后的样本使用数据增强算法生成数据增强样本;使类别标签无监督抽取聚类方式为数据集中未标注的样本生成类别标签;采用词向量隐语义空间,计算相似度与线性插值运算,运算结果生成相似度插值样本;构建最终训练样本集;采用半监督方法并使用预训练语言模型,输入最终训练样本集,对模型进行训练得到分类模型,使用分类模型对测试集预测得出分类结果。对比传统文本分类实验表明,使用该方法和装置在少量标注舆情样本、未标注舆情样本情况下提高舆情文本分类的准确率。

    一种用于法律文书的命名实体识别的标注方法和装置

    公开(公告)号:CN114580424A

    公开(公告)日:2022-06-03

    申请号:CN202210434737.9

    申请日:2022-04-24

    Abstract: 本发明公开了一种用于法律文书的命名实体识别的标注方法和装置,包括以下步骤:步骤S1:获取法律文本,转换成索引表;步骤S2:输出句子特征编码结果;步骤S3:训练及预测;步骤S4:得到集合;步骤S5:得到多头分数转移矩阵;步骤S6:得出所述法律文本对应的分数转移矩阵;步骤S7:确定识别嵌套实体;步骤S8:利用所述识别嵌套实体构建实体标注模板。本发明通过改变对BERT模型的输入,尝试完成对嵌套实体标注的识别,利用本发明所述的多头选择矩阵标注思路,较大程度的缓解了NER任务中长文本以及嵌套实体的识别难度。

    一种面向神经网络模型计算的中间表示方法和装置

    公开(公告)号:CN114186687B

    公开(公告)日:2022-05-17

    申请号:CN202210144108.2

    申请日:2022-02-17

    Abstract: 本发明公开了一种面向神经网络模型计算的中间表示方法和装置,包括如下步骤:S1:解析输入的模型文件以获取神经网络的拓扑结构信息;S2:构建逻辑计算图;S21:推导逻辑计算图中每个算子的物理布局信息;S22:推导逻辑计算图中每个算子的元属性;S23:推导逻辑计算图中每个算子的输入输出逻辑张量的描述信息;S3:构建物理计算图;S31:生成物理计算图;等步骤,本发明公开的基于元属性的用于神经网络模型计算的中间表示从算子层面原生地支持数据并行和模型并行以及流水并行。本发明公开的面向神经网络模型计算的中间表示方法和装置以计算表达式为基本单元,以张量作为整个计算表达式组成的计算图中流动的数据,以构图的方式实现神经网络模型的计算过程。

    一种用于神经网络计算的动态图执行方法及装置

    公开(公告)号:CN114461351A

    公开(公告)日:2022-05-10

    申请号:CN202210381726.9

    申请日:2022-04-13

    Abstract: 本发明公开了一种用于神经网络计算的动态图执行方法及装置,包括如下步骤:S1:构造和分发算子及张量;S2:算子解释器推导算子执行过程;S3:算子解释器构建运行时虚拟机的指令;S4:算子解释器将指令发送到运行时虚拟机;S5:虚拟机调度指令;S6:虚拟机释放已经执行完的指令。本发明提供了一种用于神经网络计算的动态图执行方法及装置,通过将运行时抽象为虚拟机,虚拟机实时地通过解释器获取用户搭建的每一步骤的子图调度和下发执行每个子图,既满足了用户即时调试的需求又可以局部调优,获取最优的局部模型。满足了算法研究人员开发模型过程中即时验证算法正确性和模型局部性能的需求。

    深度学习框架与AI加速卡片内分布式训练适配方法和装置

    公开(公告)号:CN113918351B

    公开(公告)日:2022-03-11

    申请号:CN202111487478.8

    申请日:2021-12-08

    Abstract: 本发明公开了一种深度学习框架与AI加速卡片内分布式训练适配方法和装置,包括如下步骤:S1:深度学习框架支持新增AI加速卡片内单卡配置,其子步骤如下:S11:深度学习框架支持新硬件;S12:深度学习框架支持新硬件的设备线程;S13:深度学习框架支持新硬件的内存操作;S14:深度学习框架支持新硬件的算子核函数;S2:深度学习框架支持新增AI加速卡片内多卡配置;S3:深度学习框架支持张量切分和多卡分布;S4:深度学习框架支持新增AI加速卡片内多卡集合通信,本发明打通了深度学习框架与新增AI加速卡,并将深度学习框架源码与芯片底层软件全面对接,最大限度释放芯片的硬件能力,为端侧AI提供最强劲的算力。

    一种深度学习训练过程数据转化为可视化数据方法和系统

    公开(公告)号:CN113419727A

    公开(公告)日:2021-09-21

    申请号:CN202110691724.5

    申请日:2021-06-22

    Abstract: 本发明涉及深度学习技术领域,具体涉及一种深度学习训练过程数据转化为可视化数据方法和系统,该方法包括:步骤一,定义可视化数据类型:基于Protobuf以自定义或编写的文件名为xxx的Proto文件,生成包含同一文件名的xxx_pb2.py代码;步骤二,数据转化:Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据,并组装成Protobuf类型的message对象或者Json字符串,C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据,并组装成Protobuf类型的message对象;步骤三,数据生成:将Python端或C++端生成的可视化数据写入日志文件。本发明极大地方便了模型训练过程中对于训练中间结果的数据分析和异常处理,提高了模型训练的效率。

Patent Agency Ranking