一种图像识别方法、装置、设备、介质和剪枝方法

    公开(公告)号:CN119152345B

    公开(公告)日:2025-04-25

    申请号:CN202411621634.9

    申请日:2024-11-14

    Abstract: 本发明涉及数据处理技术领域,公开了一种图像识别方法、装置、设备、介质和剪枝方法,根据原始图像识别模型训练过程中不同神经元节点组合的参数更新值以及不同神经元节点组合的数目,确定出不同神经元节点组合的参数平均值。对不同神经元节点组合的参数平均值进行分类统计,以确定出不同剪枝操作下所保留的神经元节点对应的参数平均值。基于原始图像识别模型的初始模型参数以及所保留的神经元节点对应的参数平均值,完成对不同剪枝模型的模型参数初始化。利用不同剪枝模型对图像样本进行分析训练,以得到剪枝优化后的图像识别模型。将待分析图像输入至图像识别模型确定出图像中包含的目标物。降低了图像识别模型的计算和存储成本。

    一种数据容灾方法、装置、设备以及计算机可读存储介质

    公开(公告)号:CN113722046B

    公开(公告)日:2024-11-15

    申请号:CN202110873296.8

    申请日:2021-07-30

    Inventor: 宿栋栋

    Abstract: 本申请公开了一种数据容灾方法,包括:设置本地目标备份子内核与远端目标备份子内核;本地目标备份子内核与远端目标备份子内核具有与待备份子内核同类的应用程序;当待备份子内核所属FPGA加速器的存储器处于阻塞状态时,根据预设分发跳数,将待计算数据与计算结果反馈地址分发到本地目标备份子内核与远端目标备份子内核,以通过本地目标备份子内核与远端目标备份子内核对待计算数据进行计算,并根据计算结果反馈地址反馈计算结果。该数据容灾方法能够解决由于FPGA加速器中存储器堵塞导致的子内核拥塞和锁死问题,确保虚拟化FPGA集群的数据安全。本申请还公开了一种数据容灾装置、设备及计算机可读存储介质,均具有上述技术效果。

    一种数据传输方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118467453B

    公开(公告)日:2024-09-27

    申请号:CN202410924982.7

    申请日:2024-07-11

    Abstract: 本发明涉及计算机数据传输领域,具体公开了一种数据传输方法、装置、设备、介质及计算机程序产品,应用现场可编程逻辑门阵列代替计算单元的计算线程来执行计算单元间的数据传输任务,根据第一计算单元的内存映射输入输出请求得到源地址标识、目的地址标识和待传输数据长度,并根据本地存储的地址表对应查询得到源地址和目的地址,以根据源地址、目的地址和待传输数据长度,调用内存访问模块将待传输数据自源地址传输至目的地址,减少了计算单元的计算线程所需发送的数据量,从而降低对计算单元内部缓存的占用,而现场可编程逻辑门阵列可以直接响应任务而不是像中央处理器那样需要等待轮询,降低了处理时间,从而提高了计算单元间的数据传输效率。

    一种数据传输方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118467453A

    公开(公告)日:2024-08-09

    申请号:CN202410924982.7

    申请日:2024-07-11

    Abstract: 本发明涉及计算机数据传输领域,具体公开了一种数据传输方法、装置、设备、介质及计算机程序产品,应用现场可编程逻辑门阵列代替计算单元的计算线程来执行计算单元间的数据传输任务,根据第一计算单元的内存映射输入输出请求得到源地址标识、目的地址标识和待传输数据长度,并根据本地存储的地址表对应查询得到源地址和目的地址,以根据源地址、目的地址和待传输数据长度,调用内存访问模块将待传输数据自源地址传输至目的地址,减少了计算单元的计算线程所需发送的数据量,从而降低对计算单元内部缓存的占用,而现场可编程逻辑门阵列可以直接响应任务而不是像中央处理器那样需要等待轮询,降低了处理时间,从而提高了计算单元间的数据传输效率。

    一种图片加密方法、解密方法、加密系统及相关装置

    公开(公告)号:CN113726979A

    公开(公告)日:2021-11-30

    申请号:CN202110876887.0

    申请日:2021-07-31

    Abstract: 本申请提供一种图片加密方法,包括:获取待加密图片,利用DNN分类模型对所述待加密图片进行前向计算;所述DNN分类模型包括输入层、隐含层和输出层,所述隐含层包含若干中间层;记录所述待加密图片经过每层时的元数据;将所述元数据作为所述待加密图片的加密数据。本申请实现加密过程可控制,且难以破解,且所得到的元数据可以根据信息量选择提取部分元数据作为加密数据,使得得到的加密数据远小于原始信息。本申请还提供一种图片解密方法、图片加密系统、计算机可读存储介质和电子设备,具有上述有益效果。

    一种数据传输方法、装置、设备及存储介质

    公开(公告)号:CN118796509A

    公开(公告)日:2024-10-18

    申请号:CN202410804303.2

    申请日:2024-06-20

    Abstract: 本申请公开了一种数据传输方法、装置、设备及存储介质,涉及计算机技术领域,包括:当位于中央处理器中的数据传输消息轮询线程轮询到计算线程发送的数据传输消息,则对数据传输消息进行解析,得到第一编号、第二编号和数据传输类型编号;基于第一编号和第二编号从预设地址表中查找待传输数据所在的内存地址以及待写入的内存地址,得到第一设备内存地址和第二设备内存地址;向计算线程所在的计算设备中的DMA引擎发送基于数据传输类型编号确定的数据传输指令,以将位于第一设备内存地址对应的数据缓存中的待传输数据传输至第二设备内存地址对应的数据缓存中。本申请能够减少传输的数据量,降低传输复杂度和传输时间,并提高数据传输的效率。

    一种文件传输方法、装置、设备及存储介质

    公开(公告)号:CN113746897B

    公开(公告)日:2024-08-13

    申请号:CN202110856466.1

    申请日:2021-07-28

    Abstract: 本发明公开了一种文件传输方法、装置、设备及存储介质,该方法包括:接收应用程序发起的文件传输请求,在文件传输请求的触发下申请内核缓存,并从磁盘中读取相应文件至内核缓存中;通过RDMA网卡驱动告知RDMA网卡硬件发起读操作,以指示RDMA网卡硬件读取内核缓存中的文件至RDMA网卡硬件的内部缓存中,并将内部缓存中的文件发送至远端节点。可见,本申请以内核空间已有的RDMA网卡驱动提供的相关功能为基础,通过将磁盘中相应文件读入申请的内核缓存及将内核缓存中相应文件读入RDMA网卡硬件实现文件传输,避免冗余的内存拷贝操作,降低数据从磁盘搬运到RDMA网卡硬件内部缓存的时间,提高文件传输的传输效率。

    梯度压缩方法、装置、设备、分布式集群系统及存储介质

    公开(公告)号:CN117910521B

    公开(公告)日:2024-06-14

    申请号:CN202410317335.X

    申请日:2024-03-20

    Abstract: 本发明公开了一种梯度压缩方法、装置、设备、分布式集群及存储介质,属于分布式计算领域,用于别参考模型性能优化速率以及当前的单步训练时长两个指标,对梯度压缩程度进行调节,解决了应对低速网络进行梯度压缩时无法平衡模型性能与通信开销的问题。本发明以单个训练步为粒度,在预热阶段后的任一个训练步得到梯度数据后,在模型性能优化速率不达标的情况下对梯度压缩程度进行缩小,以便提升模型性能,而在模型性能优化速率达标且当前的单步训练时长超标的情况下,便可对梯度压缩程度进行放大,以便降低通信开销,本发明可结合网络状况的影响动态的调节梯度数据的压缩程度,从而在兼顾模型性能与网络状况的基础上,尽可能的降低通信开销。

    文本生成方法及其模型梯度剪枝方法、装置、设备、介质

    公开(公告)号:CN117910536A

    公开(公告)日:2024-04-19

    申请号:CN202410309633.4

    申请日:2024-03-19

    Abstract: 本发明涉及人工智能技术领域,公开了文本生成方法及其模型梯度剪枝方法、装置、设备、介质,训练预热阶段保持文本生成模型当前的模型梯度不变;非训练预热阶段,基于滑窗尺寸信息和性能损失函数,确定出文本生成模型在每个训练步数下以损失函数变化率为表征的性能;根据设定的训练状态条件以及每个训练步数下以损失函数变化率为表征的性能和单步训练时长,依次对每个训练步数下的梯度剪枝量进行调整。每得到一个调整后的梯度剪枝量,则按照调整后的梯度剪枝量对文本生成模型进行梯度剪枝操作,直至当前训练步数达到文本生成模型的总训练步数,结束对文本生成模型的剪枝操作,保证了文本生成模型的训练任务能够在低速不稳定的网络环境中顺利完成。

    梯度压缩方法、装置、设备、分布式集群及存储介质

    公开(公告)号:CN117910521A

    公开(公告)日:2024-04-19

    申请号:CN202410317335.X

    申请日:2024-03-20

    Abstract: 本发明公开了一种梯度压缩方法、装置、设备、分布式集群及存储介质,属于分布式计算领域,用于别参考模型性能优化速率以及当前的单步训练时长两个指标,对梯度压缩程度进行调节,解决了应对低速网络进行梯度压缩时无法平衡模型性能与通信开销的问题。本发明以单个训练步为粒度,在预热阶段后的任一个训练步得到梯度数据后,在模型性能优化速率不达标的情况下对梯度压缩程度进行缩小,以便提升模型性能,而在模型性能优化速率达标且当前的单步训练时长超标的情况下,便可对梯度压缩程度进行放大,以便降低通信开销,本发明可结合网络状况的影响动态的调节梯度数据的压缩程度,从而在兼顾模型性能与网络状况的基础上,尽可能的降低通信开销。

Patent Agency Ranking