异构数据库间数据同步的实现方法及装置、电子设备

    公开(公告)号:CN116860877A

    公开(公告)日:2023-10-10

    申请号:CN202310868178.7

    申请日:2023-07-14

    Abstract: 本申请的实施例提供了一种异构数据库间数据同步的实现方法及装置、电子设备、存储介质,该方法应用于源端服务器,所述源端服务器中安装有源端数据库,包括:获取所述源端数据库中的物理变更数据,所述物理变更数据是通过对所述源端数据库中的原始信息进行语义化处理所获得的、且表征所述源端数据库中数据的物理变化的信息;根据所述物理变更数据确定目标分发方式,所述目标分发方式包括实时分发方式、准实时分发方式或者离线分发方式;根据所述目标分发方式将所述物理变更数据发送至目标端服务器;其中,所述目标端服务器中安装有目标端数据库。本申请的实施例在源端数据库与目标端数据库属于异构数据库的情况下,依旧能够实现数据同步。

    数据质量检测方法、装置、设备及介质

    公开(公告)号:CN117493327A

    公开(公告)日:2024-02-02

    申请号:CN202311594758.8

    申请日:2023-11-27

    Abstract: 本公开提供了一种数据质量检测方法、装置、设备及介质,涉及计算机应用技术领域。该方法包括:获取用户输入的元数据;在规则数据库中查询第一规则实例,其中,规则数据库中存储有已创建的规则实例,第一规则实例的名称属性与元数据的名称属性之间的相似度大于预设阈值;在查询到第一规则实例的情况下,复制第一规则实例得到目标规则实例,应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测;在未查询到第一规则实例的情况下,获取用户创建的第二规则实例,并将第二规则实例存储至规则实例数据库;运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测。根据本公开实施例,能够自动匹配规则实例进行检测,减少人工操作,提升检测效率。

    多源数据合并处理方法、装置、系统以及相关设备

    公开(公告)号:CN116860854A

    公开(公告)日:2023-10-10

    申请号:CN202310871570.7

    申请日:2023-07-14

    Abstract: 本公开提供了一种多源数据合并处理方法、装置、系统以及相关设备,涉及大数据技术领域。该方法包括:获取具有相同数据字段的多个数据源提供的数据信息,其中,每个数据源中包含:一个或多个数据字段;对目标数据字段在每个数据源中的数据内容进行动态评估,得到目标数据字段在每个数据源中对应的质量评估得分,其中,目标数据字段为多个数据源中相同的数据字段;根据目标数据字段在每个数据源中对应的质量评估得分,对多个数据源的数据内容进行合并,以使合并后的数据内容来自质量评估得分最高的数据源。本公开能够对来自多个数据源的数据进行备份或记录高质量字段的数据。

    数据质量检测方法、装置、电子设备和可读介质

    公开(公告)号:CN117493328A

    公开(公告)日:2024-02-02

    申请号:CN202311595523.0

    申请日:2023-11-27

    Abstract: 本公开提供一种数据质量检测方法、装置、电子设备和可读介质,其中,数据质量检测方法包括:对用于进行质量检测的结构化查询语言指令进行语义拆分,以得到结构化查询语言指令对应的树状结构,树状结构的叶子对应于语义拆分后的元素;根据指定合并条件对语义拆分后的元素进行合并组装;基于Spark的YARN模式运行合并组装后的结构化查询语言指令,以获得数据质量检测结果。通过本公开实施例,可以有效地减少质量检测任务的数量,提升了整体质量检测效率,支持更大数据量级、更复杂规则的检测场景,且实现方式灵活多变,减少了数据的维护成本。

    异常数据识别模型的训练方法及相关设备

    公开(公告)号:CN115238805B

    公开(公告)日:2023-12-15

    申请号:CN202210908093.2

    申请日:2022-07-29

    Inventor: 邹航 郝猛 刘巧俏

    Abstract: 本公开提供了一种异常数据识别模型的训练方法及相关设备,涉及计算机技术领域。该方法包括:获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练。该方法可以通过生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中三者可以互相对抗约束以进行基于梯度下降算法的训练优化,从而获得训练好的异常数据识别模型。

    异常数据识别模型的训练方法及相关设备

    公开(公告)号:CN115238805A

    公开(公告)日:2022-10-25

    申请号:CN202210908093.2

    申请日:2022-07-29

    Inventor: 邹航 郝猛 刘巧俏

    Abstract: 本公开提供了一种异常数据识别模型的训练方法及相关设备,涉及计算机技术领域。该方法包括:获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练。该方法可以通过生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中三者可以互相对抗约束以进行基于梯度下降算法的训练优化,从而获得训练好的异常数据识别模型。

Patent Agency Ranking