数据合并处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115114309B

    公开(公告)日:2025-01-24

    申请号:CN202210657292.0

    申请日:2022-06-10

    Abstract: 本公开提供了一种数据合并处理方法、装置、电子设备及存储介质,该方法包括:在满足合并触发条件的情况下,根据合并触发条件的条件类型,将N个分片服务节点中与条件类型相匹配的分片服务节点确定为目标分片服务节点;根据合并触发条件的条件类型对应的确定规则,从目标分片服务节点存储的多个分片数据中,确定与目标分片服务节点相对应的待合并的目标分片数据;向目标分片服务节点发送合并处理指令,以供目标分片服务节点根据合并处理指令对目标分片数据进行合并操作。本公开提供的数据合并处理方法,有利于节省系统资源,并且通过灵活设定合并触发条件,能够使合并操作的执行时机以及执行方式更加符合业务需求,能够适应多种应用场景。

    数据校验方法、装置、电子设备及存储介质

    公开(公告)号:CN117952700A

    公开(公告)日:2024-04-30

    申请号:CN202211337845.0

    申请日:2022-10-28

    Abstract: 本申请提供一种数据校验方法、装置、电子设备及存储介质。该方法包括:响应于对目标功能的校验事件,确定预先设置的至少一条数据校验规则和N个待校验数据,一条数据校验规则用于对任意功能下一种类型的数据进行校验;N个待校验数据是实现目标功能所需或所产生的数据;N为正整数;基于N个待检验数据各自的数据类型,从至少一条数据校验规则中为每个待校验数据选择与其数据类型相匹配的目标数据校验规则;利用每个待检验数据相匹配的目标数据校验规则并行对每个待校验数据进行校验处理,得到N个待检验数据各自的校验结果。采用本申请的方法,可以提高校验效率。

    数据表的生成方法、装置、电子设备及存储介质

    公开(公告)号:CN117763002A

    公开(公告)日:2024-03-26

    申请号:CN202211135877.2

    申请日:2022-09-19

    Abstract: 本公开提供了一种数据表的生成方法、装置、电子设备及存储介质,该方法包括:创建与待生成的目标数据表相对应的数据处理任务;获取与所述数据处理任务相对应的任务代码,通过正则表达式对所述任务代码进行正则匹配;根据正则匹配结果确定数据表依赖关系,根据所述数据表依赖关系确定所述待生成的目标数据表对应的依赖数据表;获取所述待生成的目标数据表的层级以及所述依赖数据表的层级;在所述待生成的目标数据表的层级与所述依赖数据表的层级满足层级校验条件的情况下,运行所述数据处理任务,以生成所述目标数据表。该方式确保数据表不会因依赖层级错误而导致出错,进而提升了数据表的准确性。

    数据管理结构、数据管理方法及装置、电子设备、介质

    公开(公告)号:CN117499521A

    公开(公告)日:2024-02-02

    申请号:CN202310477251.8

    申请日:2023-04-27

    Abstract: 本申请提供了一种数据管理结构、数据管理方法及装置、电子设备、介质,该方法包括:用于管理被管理号码,包括:网络号索引,网络号索引是基于被管理号码的网络号创建的索引,网络号是用于标识被管理号码所在网络的号码;号码位图,用于标识被管理号码的使用状态,其中,号码位图是基于被管理号码的使用状态创建的位图,每个网络号对应一个号码位图;跳跃链表,基于索引节点创建的链表,其中,索引节点是从被管理号码中选出的号码,跳跃链表包括一层或多层索引层,每层索引层包括至少一个索引节点,且索引层的索引节点的数量自上而下逐层递增;基础链表,基于被管理号码创建的链表。本公开实施例能够提高查询效率。

    数据校验方法、装置、计算机设备及存储介质

    公开(公告)号:CN117093409A

    公开(公告)日:2023-11-21

    申请号:CN202210509563.8

    申请日:2022-05-11

    Abstract: 本申请实施例提供了一种数据校验方法、装置、计算机设备及存储介质,方法包括:按照批次获取数据的方式,从源数据库处获取当前批次的多条待同步数据,获取各条待同步数据所属业务的业务标识;根据获取到第一批次的多条待同步数据的时间信息和各批次之间的顺序,确定当前批次的批次编号;根据当前批次的批次编号,确定各条待同步数据的唯一同步标识;将唯一同步标识和业务标识相对应地存储至校验数据库,将待同步数据、唯一同步标识和业务标识相对应地同步至目标数据库;根据校验数据库存储的数据和目标数据库存储的数据,对各业务已同步数据进行校验。本实施例,在增量数据同步场景下,从业务维度进行数据校验,提高校验精准性。

    数据处理系统、方法、装置及分布式流式处理平台

    公开(公告)号:CN116932152A

    公开(公告)日:2023-10-24

    申请号:CN202210320706.0

    申请日:2022-03-29

    Abstract: 本申请公开了一种数据处理系统、方法、装置及分布式流式处理平台,用于解决现有的数据处理方案存在的数据处理的准确性和及时性较差、难以进行问题排查及软硬件成本高等问题。所述系统包括:消息队列集群,用于接收数据源发布的实时数据并从中获取分布式流式处理平台订阅的目标数据并发送给分布式流式处理平台;分布式流式处理平台,用于响应于针对目标处理模型的调用请求,基于目标处理模型的类型获取目标处理模型所需的目标数据并转换为适用于目标处理模型的目标可用数据,调用目标处理模型对目标可用数据进行处理,实时处理模型所需的目标数据为通过向消息队列集群订阅得到,离线处理模型所需的目标数据由分布式流式处理平台从数据源获取。

    数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN116150200A

    公开(公告)日:2023-05-23

    申请号:CN202211434113.3

    申请日:2022-11-16

    Abstract: 本申请提供了一种数据处理方法、装置、电子设备及存储介质,方法包括:响应于接收到的用于配置预设变量指标的参数配置请求,确定聚合条件参数、度量字段参数以及算子参数;获取明细数据库中存储的明细数据表,从中筛选与聚合条件参数相匹配的第一数量的明细数据记录;调用与算子参数相对应的算子,针对第一数量的明细数据记录中包含的与度量字段参数相对应的目标度量字段的字段值,按照预设聚合粒度进行聚合计算,得到第二数量的包含聚合度量字段的聚合数据记录;根据第二数量的聚合数据记录,得到与预设变量指标相对应的数据处理结果。本申请能够将明细数据记录转换为聚合数据记录,降低数据记录的数量,进而提升数据处理效率。

    流计算性能优化方法及装置、电子设备、存储介质

    公开(公告)号:CN116149780A

    公开(公告)日:2023-05-23

    申请号:CN202210814569.6

    申请日:2022-07-12

    Abstract: 本公开提供了一种流计算性能优化方法及装置、电子设备、存储介质,该方法包括:获取流计算作业运行过程中目标对象的运行参数,其中,目标对象为反映流计算作业实时运行性能的对象;根据该运行参数,确定流计算作业的运行状态,其中,该运行状态用于表示所述流计算作业的消息处理能力的强弱状态;根据该运行状态,使用与该目标对象对应的预设调整策略规则,在该流计算作业运行过程中调整所述运行参数,以优化该流计算作业的流计算性能。根据本公开的实施例能够方便、高效地优化流计算作业的流计算性能。

    数据检测方法、装置及设备

    公开(公告)号:CN113505159B

    公开(公告)日:2023-04-25

    申请号:CN202110805142.5

    申请日:2021-07-16

    Abstract: 本申请实施例提供一种数据检测方法、装置及设备,该方法包括:获取待检测数据,所述待检测数据包括N个字段和所述N个字段一一对应的N个字段数据,所述N为大于或等于1的整数;获取所述待检测数据对应的检测信息,所述检测信息包括M个字段和所述M个字段一一对应的检测代码,所述M为大于或等于1的整数,所述N个字段包括所述M个字段;在所述待检测数据中确定与所述M个检测代码一一对应的字段数据,得到M个字段数据;根据所述M个检测代码分别对M个字段数据进行检测处理,得到所述待检测数据的检测结果。采用本申请实施例可提高数据检测的可靠性。

Patent Agency Ranking