数据迁移方法、计算机设备和存储介质

    公开(公告)号:CN117827107A

    公开(公告)日:2024-04-05

    申请号:CN202311825904.3

    申请日:2023-12-27

    Abstract: 本发明公开了一种数据迁移方法、计算机设备和存储介质,属于数据迁移技术领域。本发明通过在每次协程任务执行完毕之后,根据协程任务的执行时长确定下一次协程任务的并发量,协程任务的执行时长越长,表示带宽资源的有效利用时长越长,也即带宽资源的利用率越高。反之则带宽资源的利用率越低,因此本方案中,根据本次协程任务的执行时长灵活调节下一次协程任务的并发量,实质上是基于本次协程任务的带宽资源利用情况调节下一次协程任务的并发量,在迁移小文件时,可以充分利用带宽资源,而在迁移大文件时,可以避免出现迁移超时的情况。通过动态反馈调节协程任务的并发量,以充分利用带宽资源,提高数据迁移效率。

    一种图像数据清洗方法、装置及设备

    公开(公告)号:CN117787371A

    公开(公告)日:2024-03-29

    申请号:CN202311806212.4

    申请日:2023-12-25

    Abstract: 本申请提供一种图像数据清洗方法、装置及设备,该方法包括:数据采集端将待标定图像集中的样本图像输入给特定领域模型得到第一预测标签,从待标定图像集中选取部分样本图像作为候选图像,将候选图像和候选图像的第一预测标签发送给数据中心端;数据中心端将候选图像输入给全领域模型得到第二预测标签,基于第二预测标签和第一预测标签确定待标定图像集的预测结果;数据采集端获取预测结果,若预测结果表示预测无效,则确定待标定图像集的迭代次数;若迭代次数达到次数阈值,则将待标定图像集中的样本图像归类为难例数据。通过本申请的技术方案,避免难例数据导致模型性能降低,从而在较短时间内完成模型训练,消耗更少的计算资源完成模型训练。

    数据处理方法、装置和电子设备
    3.
    发明公开

    公开(公告)号:CN118260308A

    公开(公告)日:2024-06-28

    申请号:CN202211686790.4

    申请日:2022-12-26

    Abstract: 本申请提供了一种数据处理方法、装置和电子设备,该方法包括:根据数据请求方针对数据存储系统发送的数据处理请求,确定数据服务场景;所述数据存储系统包括第一数据库和第二数据库;基于所述数据服务场景,确定所述数据存储系统的数据库切换策略;按照所述数据库切换策略,在所述数据存储系统中执行所述数据处理请求对应的数据处理操作。由此可见,本申请基于数据请求方的数据处理请求,确定为该数据请求方提供数据服务的服务场景,使得数据存储系统对外提供数据服务时更有针对性。而且,针对不同的数据服务场景,本申请采用不同的数据库切换策略在数据存储系统中进行数据处理操作,可以快速有效地响应数据处理请求,提高了数据处理效率。

    任务异常处理方法、装置及任务异常处理系统

    公开(公告)号:CN114020432A

    公开(公告)日:2022-02-08

    申请号:CN202111308542.1

    申请日:2021-11-05

    Abstract: 本发明实施例提供了任务异常处理方法、装置及电子设备,应用于算法训练技术领域。该方法包括:当检测到算法训练系统内目标训练任务运行出现异常时,获取造成目标训练任务运行出现异常的目标异常原因;判断是否存在预设的与目标异常原因对应的处理策略;若存在,则按照处理策略对目标训练任务运行出现的异常进行处理;若不存在,则输出针对目标训练任务的通知消息,并在接收到针对目标异常原因的配置操作时,存储配置操作所配置的与目标异常原因对应的处理策略。通过本方案,可以提高任务异常处理的效率。

Patent Agency Ranking