一种作业任务的执行方法、装置、电子设备、存储介质

    公开(公告)号:CN110609745A

    公开(公告)日:2019-12-24

    申请号:CN201810621461.9

    申请日:2018-06-15

    Abstract: 本发明公开了一种作业任务的执行方法、装置、电子设备、存储介质,用以解决集群资源利用率低的问题。方法包括:获取待执行的第一作业任务针对每种资源的理论需求量;获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与第一作业任务的类型相同的其他作业任务时,针对每种资源的实际使用量确定的;判断当前保存的集群针对每种资源的剩余量是否不小于获取的对应种资源的理论需求量;若均为是,将第一作业任务及其针对每种资源的理论需求量发送给集群,使集群采用每种资源的理论需求量执行第一作业任务。因为根据相同类型的其他作业任务对资源的实际使用情况,为该第一作业任务确定资源量,在一定程度上提高了集群资源的利用率。

    出行方式的识别方法、装置、设备、介质及产品

    公开(公告)号:CN118211110A

    公开(公告)日:2024-06-18

    申请号:CN202410254680.3

    申请日:2024-03-06

    Abstract: 本申请提供了一种出行方式的识别方法、装置、设备、介质及产品,通过获取多个用户的历史信令数据,历史信令数据包括用户在预设时间内经过的多个基站的基站序列;对于每一用户的历史信令数据,基于基站序列和预设出行规则之间的关联关系,从历史信令数据中提取目标特征集,目标特征集包括多个出行特征;基于每一用户的历史信令数据对应的目标特征组,对预设基础组合模型进行训练,得到目标分类模型,预设基础组合模型包括多个子基础模型;根据目标分类模型,对用户的目标信令数据进行识别,得到用户的目标出行方式。本申请实施例能够提高识别出行方式的准确率。

    业务执行方法、装置、设备及存储介质

    公开(公告)号:CN115840634B

    公开(公告)日:2023-06-30

    申请号:CN202310160242.6

    申请日:2023-02-24

    Abstract: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。

    数据同步中的数据比对校验及数据修复的方法及装置

    公开(公告)号:CN115373889A

    公开(公告)日:2022-11-22

    申请号:CN202110546602.7

    申请日:2021-05-19

    Abstract: 本发明提供了一种数据同步中的数据比对校验及数据修复的方法及装置,包括:对源端数据库t1时刻的全量数据CRC校验码和目标端数据库t1时刻的全量数据CRC校验码进行对比;若对比结果不一致,则确定差异数据集,并生成第一数据集;获取目标端数据库中的差异数据集未执行的交易命令集合;基于目标端数据库中的差异数据集未执行的交易命令集合在目标端数据库中的差异数据集生成第一数据集上执行生成第二数据集;对源端数据库中的差异数据集和第二数据集进行对比;若对比结果不一致,则进行数据修复,本发明适用于静态数据比对场景、动态数据比对场景、同构数据同步场景、异构数据同步场景、全量数据比对校验场景及单独比对校验场景,实用性非常广泛。

    数据流计算异常恢复方法、装置、设备及存储介质

    公开(公告)号:CN117009139A

    公开(公告)日:2023-11-07

    申请号:CN202310884253.9

    申请日:2023-07-18

    Abstract: 本发明涉及数据处理技术领域,尤其涉及一种数据流计算异常恢复方法、装置、设备及存储介质。本发明通过确定流计算异常时的异常算子和相邻算子,并调用异常算子对应的目标算子,以目标算子代替异常算子建立与相邻算子之间的连接,保证整体数据处理可执行性,同时通过相邻数字读取预写式日志中的重放点数据,下发重放点数据至目标算子,从而目标算子可以根据重放点数据进行流计算,完成异常流计算结果的重新计算,而重新计算所有的数据,避免了现有技术中基于flink的实时数据流计算异常时,重新计算的效率较低的技术问题,减少流计算异常恢复的周期。

    一种基于分支的数据处理方法、装置、设备和存储介质

    公开(公告)号:CN116644412A

    公开(公告)日:2023-08-25

    申请号:CN202211738550.4

    申请日:2022-12-30

    Abstract: 本申请公开了一种基于分支的数据处理方法、装置、电子设备和存储介质,该方法包括:获取数据集中待操作的分支的分支名称;其中,对数据集的基线数据执行一个或多个改变后,得到的不同的数据集的分支被存储在对应的数据沙箱中,数据集的分支包括待操作的分支;根据分支名称,在数据集的分支清单中定位目标分支对象;从目标分支对象中获取待操作的分支对应的快照标识;对快照标识所指的快照执行数据操作。本申请同时还公开了一种基于分支的数据处理装置、电子设备和存储介质。本申请提供的基于分支的数据处理方法,针对不同数据沙箱之间的操作相互隔离,且数据沙箱无需复制现有的数据集,从而可以控制数据存储成本。

    业务执行方法、装置、设备及存储介质

    公开(公告)号:CN115840634A

    公开(公告)日:2023-03-24

    申请号:CN202310160242.6

    申请日:2023-02-24

    Abstract: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。

Patent Agency Ranking