基于纠删码技术的云存储系统、装置、电子设备和介质

    公开(公告)号:CN116661689A

    公开(公告)日:2023-08-29

    申请号:CN202310594058.2

    申请日:2023-05-24

    Inventor: 刘圆 杜洋

    Abstract: 本公开提供一种基于纠删码技术的云存储系统、装置、电子设备和介质,其中,系统包括:第一资源池包括多个第一存储节点,第一存储节点用于存储N个原始块数据对应的K个校验数据块;第二资源池包括多个第二存储节点,第二存储节点用于存储原始块数据,第二资源池与第一资源池之间通过接收组件和发送组件进行数据交互;预测训练集群集成于第一资源池和第二资源池设置,用于对第一资源池与第二资源池之间的数据交互的流量需求进行预测,以及对第一存储节点和第二存储节点的失效概率进行预测;协调器连接于预测训练集群,用于根据预测的流量需求和失效概率对接收组件和发送组件进行调控。通过本公开实施例,降低了数据交互延迟和数据交互压力。

    算力资源分配的优化方法、优化装置、电子设备和介质

    公开(公告)号:CN116541176A

    公开(公告)日:2023-08-04

    申请号:CN202310596058.6

    申请日:2023-05-24

    Inventor: 杜洋

    Abstract: 本公开提供了一种算力资源分配的优化方法、优化装置、电子设备和介质,涉及计算机技术领域。其中,算力资源分配的优化方法包括:基于集群监控程序监控到待处理任务,获取描述信息,描述信息用于描述待处理任务的多个批次的子任务;将描述信息输入预测模型,以基于预测模型预测每个子任务的预计完成时间和算力资源需求量;基于算力资源需求量和已占用的计算机集群的算力资源占用量构建多个批次的子任务的预计完成时间的目标优化模型;基于目标优化模型对每个子任务的算力资源分配进行优化。通过本公开的技术方案,能够提高复杂且耗时较长的HPC集群任务的算力资源分配的合理性,进而有利于降低算力资源分配冲突的概率,保证算力资源保持较高的利用率。

    混合专家模型的训练方法、装置、计算机设备、可读存储介质和程序产品

    公开(公告)号:CN119830952A

    公开(公告)日:2025-04-15

    申请号:CN202411969731.7

    申请日:2024-12-30

    Inventor: 杜洋

    Abstract: 本申请涉及一种混合专家模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。该方法包括:获取与大模型输入关联的混合专家模型的训练样本集;训练样本集包括大模型的输入数据以及输入数据对应的输入解析标签信息;将训练样本集中的目标样本输入混合专家模型,得到混合专家模型中每个专家模型的激活概率信息、混合专家模型的目标输出结果和加载专家模型的子输出结果;根据每个专家模型的模型参数、目标样本、目标输出结果和子输出结果,得到专家区分奖励信息;根据激活概率信息、专家区分奖励信息、目标样本和目标输出结果,对混合专家模型进行迭代训练,得到训练完成的混合专家模型。采用本方法能提高混合专家模型鲁棒性。

    异常节点的判定方法及相关设备
    5.
    发明公开

    公开(公告)号:CN119938444A

    公开(公告)日:2025-05-06

    申请号:CN202411998553.0

    申请日:2024-12-31

    Inventor: 杜洋

    Abstract: 本公开提供了一种异常节点的判定方法、装置、设备、介质及计算程序,涉及异常检测技术领域。该方法包括:获取目标节点的监控数据,其中,目标监控数据为预先设置在目标节点上的监控点在实时监控并采集到的含噪数据;将目标监控数据和采集到的环境噪声输入至预先训练好的数据还原模型中,输出预测监控数据;对预测监控数据进行评估,并根据评估结果判定目标节点是否处于异常状态。本公开能够提高模型中节点状态判定结果的准确性。

    并行任务分配方法、装置、计算机设备和可读存储介质

    公开(公告)号:CN119003121A

    公开(公告)日:2024-11-22

    申请号:CN202411086119.5

    申请日:2024-08-08

    Abstract: 本申请涉及一种并行任务分配方法、装置、计算机设备和可读存储介质。方法包括:确定第一计算单元处理第一初始任务量个待处理任务的第一完成时间信息,以及第二计算单元处理第二初始任务量个待处理任务的第二完成时间信息;在第一完成时间信息和第二完成时间信息不满足并行处理条件的情况下,根据第一完成时间信息和第二完成时间信息之间的时间差,更新第一初始任务量和第二初始任务量,并返回执行确定第一完成时间信息和第二完成时间信息的操作;在第一完成时间信息和第二完成时间信息满足并行处理条件的情况下,将第一初始任务量个待处理任务分配至第一计算单元,以及将第二初始任务量个待处理任务分配至第二计算单元。

    网络延迟分析方法、装置、程序产品与电子设备

    公开(公告)号:CN119788568A

    公开(公告)日:2025-04-08

    申请号:CN202411908687.9

    申请日:2024-12-23

    Inventor: 杜洋

    Abstract: 本公开提供一种网络延迟分析方法、装置、程序产品与电子设备,涉及通信技术领域。该方法包括:根据网络拓扑,将集群内的设备划分为至少一个组播组;通过不可靠数据报,分别向每个所述组播组发送组播探测包;确定每个所述组播组内各个设备接收所述组播探测包的接收信息;根据每个所述组播组内各个设备对应的接收信息,确定网络延迟信息。本公开通过仅使用单向探测包来确定网络延迟信息,在保证确定网络延迟性能的基础上,还减少了网络和计算资源的消耗,避免了由于网络资源消耗较大所引起的延迟和包丢失的情况出现。

    联邦学习加速方法、装置、存储介质和电子设备

    公开(公告)号:CN117273162A

    公开(公告)日:2023-12-22

    申请号:CN202210664921.2

    申请日:2022-06-13

    Abstract: 本公开提供了一种联邦学习加速方法、装置、存储介质和电子设备,涉及计算机技术领域。该联邦学习加速方法包括:控制内存读取模块从全局内存中读取待处理数据,并将所述待处理数据划分为多组待处理数据流;控制蒙哥马利模乘模块从所述内存读取模块中获取各待处理数据流,并对各所述待处理数据流中的数据进行蒙哥马利模乘计算,得到模乘计算结果;将所述模乘计算结果发送至内存写入模块,以供所述内存写入模块将所述模乘计算结果写入所述全局内存模块。解决了目前联邦学习处理构架的数据处理效率较低的技术问题,达到了提高联邦学习处理构架的数据处理效率的技术效果。

    异常检测方法、装置、电子设备和计算机可读存储介质

    公开(公告)号:CN115527520A

    公开(公告)日:2022-12-27

    申请号:CN202211000156.0

    申请日:2022-08-19

    Abstract: 本公开提供一种异常检测方法、装置以及电子设备和计算机可读存储介质,涉及语音识别技术领域。该异常检测方法包括:获取语音识别文本,语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的,语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息;对语音识别文本进行语义特征提取,以获得识别文本语义特征;对语音识别模型信息进行特征提取,以获得语音识别模型特征;将识别文本语义特征和语音识别模型特征融合,以获得异常衡量特征;通过异常检测模型对异常衡量特征进行处理,以确定将语音数据识别为语音识别文本的识别效果。本公开实施例可以准确的确定根据语音数据转录形成的语音识别文本是否正确。

    热词确定方法及装置、存储介质和电子设备

    公开(公告)号:CN115392243B

    公开(公告)日:2025-02-18

    申请号:CN202211055505.9

    申请日:2022-08-29

    Inventor: 石丽娟 汪洋 杜洋

    Abstract: 本公开提供了一种热词确定方法、热词确定装置、存储介质和电子设备,涉及语音识别技术领域。该热词确定方法包括:获取当前帧语音数据,将当前帧语音数据转化为当前帧文本;利用当前帧文本以及与当前帧对应的邻近帧文本确定候选热词;确定候选热词的至少一个特征表达,并利用候选热词的至少一个特征表达对候选热词进行聚类,根据聚类结果确定出热词。本公开可以提高生成热词的效率。

Patent Agency Ranking