一种训练数据获取方法、装置及模型训练方法、装置

    公开(公告)号:CN113762292A

    公开(公告)日:2021-12-07

    申请号:CN202010493777.1

    申请日:2020-06-03

    Abstract: 本申请实施例提供了一种训练数据获取方法、装置及模型训练方法、装置。其中,所述方法包括:获取预设第一格式的训练数据全量信息;对所述训练数据全量信息进行格式转化,得到预设第二格式的检测训练数据;获取目标子图像的第二标识信息;对所述训练数据全量信息进行格式转化,得到预设第三格式的识别训练数据。可以通过格式转化将训练数据全量信息的信息分别转化成训练检测模型所需的信息和以及训练识别模型所需的信息,即通过对检测训练数据和识别训练数据中不同字段中的信息进行融合,降低所需获取的训练数据中信息的冗余度,有效降低所需获取的用于训练数据的数据量,因此可以有效降低获取训练数据所花费的时间,提高模型训练的效率。

    数据迁移方法、计算机设备和存储介质

    公开(公告)号:CN117827107A

    公开(公告)日:2024-04-05

    申请号:CN202311825904.3

    申请日:2023-12-27

    Abstract: 本发明公开了一种数据迁移方法、计算机设备和存储介质,属于数据迁移技术领域。本发明通过在每次协程任务执行完毕之后,根据协程任务的执行时长确定下一次协程任务的并发量,协程任务的执行时长越长,表示带宽资源的有效利用时长越长,也即带宽资源的利用率越高。反之则带宽资源的利用率越低,因此本方案中,根据本次协程任务的执行时长灵活调节下一次协程任务的并发量,实质上是基于本次协程任务的带宽资源利用情况调节下一次协程任务的并发量,在迁移小文件时,可以充分利用带宽资源,而在迁移大文件时,可以避免出现迁移超时的情况。通过动态反馈调节协程任务的并发量,以充分利用带宽资源,提高数据迁移效率。

    一种图像数据清洗方法、装置及设备

    公开(公告)号:CN117787371A

    公开(公告)日:2024-03-29

    申请号:CN202311806212.4

    申请日:2023-12-25

    Abstract: 本申请提供一种图像数据清洗方法、装置及设备,该方法包括:数据采集端将待标定图像集中的样本图像输入给特定领域模型得到第一预测标签,从待标定图像集中选取部分样本图像作为候选图像,将候选图像和候选图像的第一预测标签发送给数据中心端;数据中心端将候选图像输入给全领域模型得到第二预测标签,基于第二预测标签和第一预测标签确定待标定图像集的预测结果;数据采集端获取预测结果,若预测结果表示预测无效,则确定待标定图像集的迭代次数;若迭代次数达到次数阈值,则将待标定图像集中的样本图像归类为难例数据。通过本申请的技术方案,避免难例数据导致模型性能降低,从而在较短时间内完成模型训练,消耗更少的计算资源完成模型训练。

    数据处理方法、装置和电子设备
    5.
    发明公开

    公开(公告)号:CN118260308A

    公开(公告)日:2024-06-28

    申请号:CN202211686790.4

    申请日:2022-12-26

    Abstract: 本申请提供了一种数据处理方法、装置和电子设备,该方法包括:根据数据请求方针对数据存储系统发送的数据处理请求,确定数据服务场景;所述数据存储系统包括第一数据库和第二数据库;基于所述数据服务场景,确定所述数据存储系统的数据库切换策略;按照所述数据库切换策略,在所述数据存储系统中执行所述数据处理请求对应的数据处理操作。由此可见,本申请基于数据请求方的数据处理请求,确定为该数据请求方提供数据服务的服务场景,使得数据存储系统对外提供数据服务时更有针对性。而且,针对不同的数据服务场景,本申请采用不同的数据库切换策略在数据存储系统中进行数据处理操作,可以快速有效地响应数据处理请求,提高了数据处理效率。

    任务异常处理方法、装置及任务异常处理系统

    公开(公告)号:CN114020432A

    公开(公告)日:2022-02-08

    申请号:CN202111308542.1

    申请日:2021-11-05

    Abstract: 本发明实施例提供了任务异常处理方法、装置及电子设备,应用于算法训练技术领域。该方法包括:当检测到算法训练系统内目标训练任务运行出现异常时,获取造成目标训练任务运行出现异常的目标异常原因;判断是否存在预设的与目标异常原因对应的处理策略;若存在,则按照处理策略对目标训练任务运行出现的异常进行处理;若不存在,则输出针对目标训练任务的通知消息,并在接收到针对目标异常原因的配置操作时,存储配置操作所配置的与目标异常原因对应的处理策略。通过本方案,可以提高任务异常处理的效率。

    异常任务处理、任务调度方法、装置及计算机存储介质

    公开(公告)号:CN112148438B

    公开(公告)日:2024-08-09

    申请号:CN201910579810.X

    申请日:2019-06-28

    Inventor: 洪文杰

    Abstract: 本申请公开了一种异常任务处理、任务调度方法、装置及计算机存储介质,属于信息处理技术领域。在该方法中,当深度学习任务出现异常时,可以确定深度学习任务的异常原因,以便于根据异常原因,对深度学习任务进行处理。由于异常原因用于指示是由深度学习平台出现问题而导致深度学习任务出现异常,还是由深度学习任务的程序代码出现问题而导致深度学习任务出现异常,因此,根据异常原因,对深度学习任务进行处理时可以有针对性地对异常任务进行处理,从而提高处理异常任务的效率。

Patent Agency Ranking