内存备份加速方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN115756962A

    公开(公告)日:2023-03-07

    申请号:CN202211458494.9

    申请日:2022-11-21

    Abstract: 本申请公开了一种内存备份加速方法,涉及服务器技术领域,包括:当本地主机的主机内存空间不足时,判断本地FPGA的片上内存是否存在可分配空间;若本地FPGA的片上内存存在可分配空间,则将目标数据备份到本地FPGA的片上内存中;若本地FPGA的片上内存不存在可分配空间,则将目标数据备份到远端内存阵列设备中。该方法使用本地主机上的本地FPGA的内存与远端内存阵列设备的内存作为备份本地主机的主机内存中数据的物理载体,能够有效的提高系统运行的速度。本申请还公开了一种内存备份加速装置、设备以及计算机可读存储介质,均具有上述技术效果。

    一种图像处理方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN115731446A

    公开(公告)日:2023-03-03

    申请号:CN202211411889.3

    申请日:2022-11-11

    Abstract: 本申请公开了一种图像处理方法、系统、设备及计算机可读存储介质,获取待处理的目标图像;获取已训练好的源模型的卷积隐藏层的特征图像;将最后一层的特征图像作为深度特征,将其余的特征图像作为低层次特征;对于每个低层次特征,提取低层次特征的感兴趣特征向量;基于感兴趣特征向量及深度特征对目标模型进行训练,得到训练好的目标模型;基于目标模型对目标图像进行处理,得到处理结果。本申请中,可以基于低层次特征的感兴趣特征向量及深度特征对目标模型进行训练,在保留多种层次的特征信息的基础上,增加了目标模型训练时的特征数目,增强了目标模型训练时的特征鲁棒性,增强了目标模型的训练效果,可以提高目标模型对目标图像的处理效果。

    一种多线程数据上传方法

    公开(公告)号:CN104408147A

    公开(公告)日:2015-03-11

    申请号:CN201410722793.8

    申请日:2014-12-02

    CPC classification number: G06F17/30194

    Abstract: 提出一种多线程数据上传方法,所述方法配置需要上传的文件所在源路径信息、文件需要上传到HDFS系统的目的路径信息以及可以使用的线程数目信息;根据所述需要上传的文件的数据量和配置的所述线程数目信息确定每个线程需要处理的数据范围;基于配置的所述信息和确定的所述数据范围执行多线程并行数据上传。所述方法将一个大的文本文件分为多个文件并行上传到HDFS系统中,从而提高写入速度,大大降低了文件上传的时间。

    一种网卡设备及数据传输系统
    4.
    发明公开

    公开(公告)号:CN117648264A

    公开(公告)日:2024-03-05

    申请号:CN202311616379.4

    申请日:2023-11-29

    Abstract: 本发明公开了一种网卡设备及数据传输系统,涉及数据处理领域,为解决数据传输占用主机内存的访问带宽的问题,该网卡设备包括存储模块;描述符队列地址寄存器;计算高速链路硬核模块,用于将主机发送的数据传输至第一数据存储区域,将主机发送的描述符传输至第一描述符存储区域,将主机发送的触发指令传输至网络数据处理模块;网络数据处理模块,用于当接收到触发指令,从描述符队列地址寄存器中获取基地址,基于基地址和触发指令读取第一描述符存储区域中的目标描述符,在第一数据存储区域中读取目标描述符对应的目标数据,将目标数据输出至网络。本发明能够把主机内存的访问带宽留给主机上运行的其他功能使用,提高了主机的整体运行效率。

    一种数据抽取方法及装置

    公开(公告)号:CN104182502A

    公开(公告)日:2014-12-03

    申请号:CN201410406481.6

    申请日:2014-08-18

    CPC classification number: G06F17/30563 G06F17/30595

    Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。

    设备互联系统、数据处理方法、装置及设备、介质和产品

    公开(公告)号:CN119396744A

    公开(公告)日:2025-02-07

    申请号:CN202411505240.7

    申请日:2024-10-25

    Abstract: 本申请公开了一种设备互联系统、数据处理方法、装置及设备、介质和产品,涉及数据处理技术领域,该设备互联系统包括处理器、多个计算设备,处理器连接处理器内存,计算设备连接计算设备内存,处理器与多个计算设备之间通过符合预设协议的总线连接;计算设备包括目标端口,不同的计算设备之间通过目标端口直接连接,不同的计算设备之间通过目标端口直接传输数据;处理器内存和多个计算设备内存采用统一编址的方式进行编址,计算设备内存被访问时,通过对应的计算设备在统一编址与计算设备的内部地址空间之间进行地址映射。本申请提高了不同计算设备之间的数据传输效率,简化了地址的访问方式和数据传输方式。

    一种图像分类方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN117809095A

    公开(公告)日:2024-04-02

    申请号:CN202311843870.0

    申请日:2023-12-28

    Abstract: 本发明涉及图像处理技术领域,特别是涉及一种图像分类方法、装置、设备和计算机可读存储介质,各图形处理器利用中央处理器发送的子图像数据集对其匹配的初始宽度子图像分类模型进行独立并行训练,以得到训练好的各宽度子图像分类模型;根据合并数据集,分析各宽度子图像分类模型在合并数据集下各层的节点输出的特征图像之间的相似度,以确定出各宽度子图像分类模型之间相似度最大的节点。按照中央处理器传输的合并权重参数,逐层对相似度最大的节点所对应的特征图像进行分析,以得到宽度合并后的图像分类模型,并对其进行并行训练,利用训练好的图像分类模型对获取的待识别图像进行分析,以确定出图像类别,降低了图像分类的通信开销。

    一种数据抽取方法及装置

    公开(公告)号:CN104182502B

    公开(公告)日:2017-10-27

    申请号:CN201410406481.6

    申请日:2014-08-18

    Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。

Patent Agency Ranking