数据迁移方法、计算机设备和存储介质

    公开(公告)号:CN117827107A

    公开(公告)日:2024-04-05

    申请号:CN202311825904.3

    申请日:2023-12-27

    Abstract: 本发明公开了一种数据迁移方法、计算机设备和存储介质,属于数据迁移技术领域。本发明通过在每次协程任务执行完毕之后,根据协程任务的执行时长确定下一次协程任务的并发量,协程任务的执行时长越长,表示带宽资源的有效利用时长越长,也即带宽资源的利用率越高。反之则带宽资源的利用率越低,因此本方案中,根据本次协程任务的执行时长灵活调节下一次协程任务的并发量,实质上是基于本次协程任务的带宽资源利用情况调节下一次协程任务的并发量,在迁移小文件时,可以充分利用带宽资源,而在迁移大文件时,可以避免出现迁移超时的情况。通过动态反馈调节协程任务的并发量,以充分利用带宽资源,提高数据迁移效率。

    一种图像数据清洗方法、装置及设备

    公开(公告)号:CN117787371A

    公开(公告)日:2024-03-29

    申请号:CN202311806212.4

    申请日:2023-12-25

    Abstract: 本申请提供一种图像数据清洗方法、装置及设备,该方法包括:数据采集端将待标定图像集中的样本图像输入给特定领域模型得到第一预测标签,从待标定图像集中选取部分样本图像作为候选图像,将候选图像和候选图像的第一预测标签发送给数据中心端;数据中心端将候选图像输入给全领域模型得到第二预测标签,基于第二预测标签和第一预测标签确定待标定图像集的预测结果;数据采集端获取预测结果,若预测结果表示预测无效,则确定待标定图像集的迭代次数;若迭代次数达到次数阈值,则将待标定图像集中的样本图像归类为难例数据。通过本申请的技术方案,避免难例数据导致模型性能降低,从而在较短时间内完成模型训练,消耗更少的计算资源完成模型训练。

    一种训练数据获取方法、装置及模型训练方法、装置

    公开(公告)号:CN113762292A

    公开(公告)日:2021-12-07

    申请号:CN202010493777.1

    申请日:2020-06-03

    Abstract: 本申请实施例提供了一种训练数据获取方法、装置及模型训练方法、装置。其中,所述方法包括:获取预设第一格式的训练数据全量信息;对所述训练数据全量信息进行格式转化,得到预设第二格式的检测训练数据;获取目标子图像的第二标识信息;对所述训练数据全量信息进行格式转化,得到预设第三格式的识别训练数据。可以通过格式转化将训练数据全量信息的信息分别转化成训练检测模型所需的信息和以及训练识别模型所需的信息,即通过对检测训练数据和识别训练数据中不同字段中的信息进行融合,降低所需获取的训练数据中信息的冗余度,有效降低所需获取的用于训练数据的数据量,因此可以有效降低获取训练数据所花费的时间,提高模型训练的效率。

    任务异常处理方法、装置及任务异常处理系统

    公开(公告)号:CN114020432A

    公开(公告)日:2022-02-08

    申请号:CN202111308542.1

    申请日:2021-11-05

    Abstract: 本发明实施例提供了任务异常处理方法、装置及电子设备,应用于算法训练技术领域。该方法包括:当检测到算法训练系统内目标训练任务运行出现异常时,获取造成目标训练任务运行出现异常的目标异常原因;判断是否存在预设的与目标异常原因对应的处理策略;若存在,则按照处理策略对目标训练任务运行出现的异常进行处理;若不存在,则输出针对目标训练任务的通知消息,并在接收到针对目标异常原因的配置操作时,存储配置操作所配置的与目标异常原因对应的处理策略。通过本方案,可以提高任务异常处理的效率。

    确定用户的行为特征的方法和装置

    公开(公告)号:CN111241821A

    公开(公告)日:2020-06-05

    申请号:CN201811435983.6

    申请日:2018-11-28

    Abstract: 本申请提供了一种确定用户的行为特征的方法和装置,属于计算机技术领域。所述方法包括:在确定用户的行为特征时,服务器可以获取第一预设时长内,目标用户在至少一个社交应用程序中的社交信息,其中,社交信息包括关注的内容、发表的内容和联系人账户信息,对于每个社交应用程序,按照预设的分类原则,对社交应用程序的社交信息进行分类处理,对分类得到的每类社交信息的特征按照预设规则分别进行排序,得到社交应用程序对应的热点信息,根据至少一个社交应用程序对应的热点信息,确定目标用户的行为特征。采用本申请,可以获取到更多的行为特征。

    一种训练数据获取方法、装置及模型训练方法、装置

    公开(公告)号:CN113762292B

    公开(公告)日:2024-02-02

    申请号:CN202010493777.1

    申请日:2020-06-03

    Abstract: 训练的效率。本申请实施例提供了一种训练数据获取方法、装置及模型训练方法、装置。其中,所述方法包括:获取预设第一格式的训练数据全量信息;对所述训练数据全量信息进行格式转化,得到预设第二格式的检测训练数据;获取目标子图像的第二标识信息;对所述训练数据全量信息进行格式转化,得到预设第三格式的识别训练数据。可以通过格式转化将训练数据全量信息的信息分别转化成训练检测模型所需的信息和以及训练识别模型所需的信息,即通过对检测训练数据和识别训练数据中不同字段中的信息进行融合,降

    确定用户的行为特征的方法和装置

    公开(公告)号:CN111241821B

    公开(公告)日:2023-04-28

    申请号:CN201811435983.6

    申请日:2018-11-28

    Abstract: 本申请提供了一种确定用户的行为特征的方法和装置,属于计算机技术领域。所述方法包括:在确定用户的行为特征时,服务器可以获取第一预设时长内,目标用户在至少一个社交应用程序中的社交信息,其中,社交信息包括关注的内容、发表的内容和联系人账户信息,对于每个社交应用程序,按照预设的分类原则,对社交应用程序的社交信息进行分类处理,对分类得到的每类社交信息的特征按照预设规则分别进行排序,得到社交应用程序对应的热点信息,根据至少一个社交应用程序对应的热点信息,确定目标用户的行为特征。采用本申请,可以获取到更多的行为特征。

    一种模型生成、调度方法、系统及装置

    公开(公告)号:CN113435597A

    公开(公告)日:2021-09-24

    申请号:CN202110768861.4

    申请日:2021-07-07

    Abstract: 本申请实施例提供了一种模型生成、调度方法、系统及装置,涉及计算机技术领域,模型生成方法包括:从数据集中,选择用于进行模型训练的数据集,并确定所选择的数据集的版本标识;确定待训练模型的功能、以及所支持的处理平台,利用所选择的数据集训练所述待训练模型,生成用于实现所述功能、且支持所述处理平台的训练后模型;获得所述训练后模型的描述信息,其中,所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息。应用本申请实施例提供的方案可以实现生成网络模型。

Patent Agency Ranking