一种任务处理的方法、装置及云分析系统

    公开(公告)号:CN111381956B

    公开(公告)日:2024-02-27

    申请号:CN201811628664.7

    申请日:2018-12-28

    Abstract: 本申请提供一种任务处理的方法、装置及云分析系统,所述云分析系统包括任务调度节点以及至少一个计算节点,当所述方法应用于任务调度节点时,所述方法包括:接收待进行任务分析的目标任务;依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。本申请保障了云分析系统中的各分析芯片的处理任务达到负载均衡,保证了系统能够稳定的运行,避免出现任务堆积在某一个分析芯片上导致出现单个芯片寿命异常的问题。

    训练样本读取方法及装置
    13.
    发明授权

    公开(公告)号:CN112148202B

    公开(公告)日:2023-05-26

    申请号:CN201910563816.8

    申请日:2019-06-26

    Inventor: 姚沛 杨威 戚玉青

    Abstract: 本申请提供一种训练样本读取方法,方法包括:针对待训练模型的每次训练,判断本地存储介质中是否存储有待训练模型所需的训练样本;若否,则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练,并将读取到的训练样本存储至本地存储介质;若是,则从本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。在模型训练过程中,通过将训练样本存储在本地,从而后续每次都可从本地读取,无需与分布式存储设备交互,使得相同硬件规格的分布式存储设备可支撑更多的训练任务。又由于从本地读取相对从外界读取的速度快很多,因此模型训练效率也高,同时还使得训练设备的存储资源在训练过程中得到有效利用。

    一种目标特征提取方法及装置
    14.
    发明公开

    公开(公告)号:CN114429205A

    公开(公告)日:2022-05-03

    申请号:CN202011180820.5

    申请日:2020-10-29

    Inventor: 朱文姣 姚沛 杨威

    Abstract: 本申请实施例提供了一种目标特征提取方法及装置,通过获取待处理的图像,利用预先训练的网络模型,从图像中提取目标特征。其中,网络模型是采用数据并行训练方式,利用针对不同训练阶段设置的不同超参分别对多个初始神经网络进行训练得到。在进行网络模型训练时,采用数据并行训练方式,利用针对不同训练阶段设置的不同超参分别对多个初始神经网络进行训练,针对每个初始神经网络,无需设置统一的超参,超参的设置更为灵活,网络模型受超参的影响降低,保证了网络模型的精度,利用训练得到的网络模型进行目标特征提取,所提取的目标特征更为精准,从而提高了图像处理结果的准确性。

    标签校验方法和设备
    15.
    发明公开

    公开(公告)号:CN113496232A

    公开(公告)日:2021-10-12

    申请号:CN202010193375.X

    申请日:2020-03-18

    Inventor: 姚沛 张勍颖

    Abstract: 本申请提供了标签校验方法和设备。本申请中,通过提前利用原始训练图片和原始训练图片对应的原始训练标签生成与原始训练图片对应的图片‑标签校验数据(至少包括原始训练标签),之后在训练深度学习模型时,或者在训练深度学习模型前,利用原始训练图片对应的图片‑标签校验数据(至少包括原始训练标签)校验原始训练图片当前对应的当前训练标签,以及时纠正原始训练图片当前对应的错误的训练标签,大大减少了原始训练图片当前对应的原始训练标签被篡改、出错等风险,保证了模型训练过程的稳定性。

    训练样本读取方法及装置
    16.
    发明公开

    公开(公告)号:CN112148202A

    公开(公告)日:2020-12-29

    申请号:CN201910563816.8

    申请日:2019-06-26

    Inventor: 姚沛 杨威 戚玉青

    Abstract: 本申请提供一种训练样本读取方法,方法包括:针对待训练模型的每次训练,判断本地存储介质中是否存储有待训练模型所需的训练样本;若否,则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练,并将读取到的训练样本存储至本地存储介质;若是,则从本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。在模型训练过程中,通过将训练样本存储在本地,从而后续每次都可从本地读取,无需与分布式存储设备交互,使得相同硬件规格的分布式存储设备可支撑更多的训练任务。又由于从本地读取相对从外界读取的速度快很多,因此模型训练效率也高,同时还使得训练设备的存储资源在训练过程中得到有效利用。

    语音深度学习训练方法及装置

    公开(公告)号:CN111723834A

    公开(公告)日:2020-09-29

    申请号:CN201910217441.X

    申请日:2019-03-21

    Inventor: 戚玉青 郑星 姚沛

    Abstract: 本申请提供一种语音深度学习训练方法、装置、电子设备及可读存储介质,该方法包括:利用预设训练集对语音深度学习模型进行训练,以得到训练后的语音深度学习模型;根据语音深度学习模型训练的轮数确定学习率调整策略;根据所确定的学习率调整策略对学习率进行调整,并基于调整后的学习率,利用所述预设训练集对训练后的语音深度学习模型进行训练,直至训练结束。该方法可以提高语音深度学习训练过程中学习率调整的灵活性。

    一种任务处理的方法、装置及云分析系统

    公开(公告)号:CN111381956A

    公开(公告)日:2020-07-07

    申请号:CN201811628664.7

    申请日:2018-12-28

    Abstract: 本申请提供一种任务处理的方法、装置及云分析系统,所述云分析系统包括任务调度节点以及至少一个计算节点,当所述方法应用于任务调度节点时,所述方法包括:接收待进行任务分析的目标任务;依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。本申请保障了云分析系统中的各分析芯片的处理任务达到负载均衡,保证了系统能够稳定的运行,避免出现任务堆积在某一个分析芯片上导致出现单个芯片寿命异常的问题。

Patent Agency Ranking