面向分布式存储系统的网络数据流调度方法、设备、程序产品及介质

    公开(公告)号:CN118869573A

    公开(公告)日:2024-10-29

    申请号:CN202411276051.7

    申请日:2024-09-12

    摘要: 本申请公开了一种面向分布式存储系统的网络数据流调度方法、设备、程序产品及介质,涉及数据处理技术领域。该方法包括:根据网络数据流的服务类型对网络数据流进行划分得到不同类型的目标数据流;根据目标数据流的类型对应的优先级特征确定目标数据流的第一网络性能的权重参数;根据流调度请求读取各交换机的连接信息,以确定网络拓扑中从源交换机到目标交换机的各候选路径;利用各候选路径的第二网络性能的参数构建网络状态参数矩阵;基于网络状态参数矩阵和权重参数确定各候选路径的适合评价指数,然后利用预设多属性决策模型为网络数据流筛选最佳传输路径。通过本申请的技术方案,可以为网络数据流找到最佳传输路径,提升系统整体性能。

    一种面向异构计算的数据传输方法、装置、系统和产品

    公开(公告)号:CN118093231B

    公开(公告)日:2024-08-02

    申请号:CN202410491042.3

    申请日:2024-04-23

    摘要: 本申请实施例提供了一种面向异构计算的数据传输方法、装置、系统和产品,属于数据处理的技术领域,所述方法包括获取目标数据的数据大小、目标数据在系统的内存中的缓存情况以及目标异构加速设备;根据目标数据的数据大小和目标数据在系统的内存中的缓存情况,确定目标数据的目标传输策略;根据目标传输策略将目标数据传输到目标异构加速设备的内存中;当目标数据的数据大小大于预设的数据阈值,且目标数据在系统的内存中部分缓存时,根据代价模型确定目标数据对应的传输代价最小的内存中转策略和/或点对点传输策略作为目标传输策略。本申请实施例旨在提高数据传输效率。

    一种固态硬盘缓存管理方法及装置

    公开(公告)号:CN118259837A

    公开(公告)日:2024-06-28

    申请号:CN202410382721.7

    申请日:2024-03-30

    IPC分类号: G06F3/06

    摘要: 本申请提供一种固态硬盘缓存管理方法及装置,涉及硬盘管理技术领域,该方法包括:在完成读写操作请求的情况下,根据读写操作请求的属性特征确定固态硬盘当前对应的负载特征参数,并进行统计分析,确定当前固态硬盘负载特征;基于当前固态硬盘负载特征与负载特征模型进行分析,确定当前固态硬盘缓存最优比;根据当前固态硬盘缓存最优比和固态硬盘的内存空间,确定固态硬盘内当前缓存映射表内存空间和当前数据缓存内存空间的调整值;基于调整值分别对当前缓存映射表内存空间和当前数据缓存内存空间进行调整,输出调整结果。本申请提供的方法,能够有效提高当前缓存映射表内存空间和数据缓存内存空间的命中率,从而提升了固态硬盘的读写性能。

    面向异构计算的高带宽数据传输方法、CPU及系统

    公开(公告)号:CN117914775B

    公开(公告)日:2024-06-25

    申请号:CN202410322529.9

    申请日:2024-03-20

    IPC分类号: H04L45/24 H04L49/111 H04L5/00

    摘要: 本申请实施例提供了一种面向异构计算的高带宽数据传输方法、CPU、系统、存储介质、电子设备及计算机程序产品,其中,该方法包括:基于接收设备的数据处理能力,将目标数据划分为多组数据;确定所述发送设备与所述接收设备之间用于传输目标组数据的目标传输参数;将所述目标传输参数配置给所述发送设备,以指示所述发送设备按照所述目标传输参数将所述目标组数据传输给所述接收设备。

    一种固态硬盘地址映射方法、装置以及产品

    公开(公告)号:CN118170327A

    公开(公告)日:2024-06-11

    申请号:CN202410593446.3

    申请日:2024-05-14

    IPC分类号: G06F3/06 G06F12/1009

    摘要: 本申请实施例提供了一种固态硬盘地址映射方法、装置以及产品,所述固态硬盘地址映射方法,应用于固态硬盘,固态硬盘的内存中加载有缓存映射表,方法包括获取目标请求,更新缓存映射表中各个映射项对应的访问热度参数,映射项用于表征任一逻辑页的页号和物理页的页号的映射关系,任一映射项对应的访问热度参数是根据该映射项的访问次数和该映射项的逻辑页地址范围与目标请求对应的访问地址范围的距离确定的;在缓存映射表中未包含目标请求对应的目标映射项,且缓存映射表已满时,根据各个映射项对应的访问热度参数,执行剔除策略;将目标请求对应的目标映射项添加在缓存映射表中。本申请实施例旨在提高固态硬盘的读写性能。

    一种面向异构计算的数据传输方法、装置、系统和产品

    公开(公告)号:CN118093231A

    公开(公告)日:2024-05-28

    申请号:CN202410491042.3

    申请日:2024-04-23

    摘要: 本申请实施例提供了一种面向异构计算的数据传输方法、装置、系统和产品,属于数据处理的技术领域,所述方法包括获取目标数据的数据大小、目标数据在系统的内存中的缓存情况以及目标异构加速设备;根据目标数据的数据大小和目标数据在系统的内存中的缓存情况,确定目标数据的目标传输策略;根据目标传输策略将目标数据传输到目标异构加速设备的内存中;当目标数据的数据大小大于预设的数据阈值,且目标数据在系统的内存中部分缓存时,根据代价模型确定目标数据对应的传输代价最小的内存中转策略和/或点对点传输策略作为目标传输策略。本申请实施例旨在提高数据传输效率。

    一种数字人文本动作模型训练方法及数字人动作生成方法

    公开(公告)号:CN117972435A

    公开(公告)日:2024-05-03

    申请号:CN202410374575.3

    申请日:2024-03-29

    摘要: 本发明涉及人工智能技术领域,公开了一种数字人文本动作模型训练方法及数字人动作生成方法,该方法包括:获取数字人文本动作模型的模型训练样本集;对文本序列样本和动作序列样本进行随机掩码处理,得到文本掩码序列和动作掩码序列;基于预设预训练模型,根据文本掩码序列和动作掩码序列,确定若干种预训练模型损失,优化预设预训练模型的模型参数,以得到目标预训练模型;基于目标下游任务样本集,对目标预训练模型进行模型参数微调。通过构建适用于多种下游任务的目标预训练模型,后续再按照目标下游任务,对目标预训练模型进行针对性的模型参数微调,减少了数字人文本动作模型训练的工作量,也就提高了模型的训练效率。

    向量数据存储方法、查询方法、装置、设备及存储介质

    公开(公告)号:CN117971838A

    公开(公告)日:2024-05-03

    申请号:CN202410372904.0

    申请日:2024-03-29

    摘要: 本发明涉及数据处理技术领域,公开了一种向量数据存储方法、查询方法、装置、设备及存储介质。其中,存储方法包括:获取第一语义向量及第一语义向量的第一索引前缀;在向量数据库中存有第一索引前缀的情况下,确定第一索引前缀关联保存的第二语义向量中的第一基准语义向量;根据第一语义向量与第一基准语义向量之间的差异信息,生成第一语义向量的第一索引地址;若向量数据库中未存有目标索引地址,则将第一语义向量、第一索引前缀及第一索引地址关联保存至向量数据库中;目标索引地址与第一索引地址的第一相似度大于第一相似度阈值。通过本发明,能够实现向量数据的自动分类,提升向量数据的查询效率。

    面向异构计算的高带宽数据传输方法、CPU及系统

    公开(公告)号:CN117914775A

    公开(公告)日:2024-04-19

    申请号:CN202410322529.9

    申请日:2024-03-20

    IPC分类号: H04L45/24 H04L49/111 H04L5/00

    摘要: 本申请实施例提供了一种面向异构计算的高带宽数据传输方法、CPU、系统、存储介质、电子设备及计算机程序产品,其中,该方法包括:基于接收设备的数据处理能力,将目标数据划分为多组数据;确定所述发送设备与所述接收设备之间用于传输目标组数据的目标传输参数;将所述目标传输参数配置给所述发送设备,以指示所述发送设备按照所述目标传输参数将所述目标组数据传输给所述接收设备。