一种基于捕获元数据变更的批量数据容错采集方法

    公开(公告)号:CN115712623A

    公开(公告)日:2023-02-24

    申请号:CN202211468833.1

    申请日:2022-11-22

    Abstract: 本发明公开了一种基于捕获元数据变更的批量数据容错采集方法,其步骤包括:1)定时任务获取数据源的元数据最新版本信息,当发生变化时将该数据源的元数据信息推送给消息中间件;2)消息中间件根据该数据源的元数据最新版本信息与上一版本信息,依次进行元数据识别、元数据纠错、元数据匹配、元数据对比,如果对比结果是字段数量发生变更则进行容错处理并暂停当前任务;如果对比结果是字段类型发生变更,则判断变更后的字段类型是否和hive类型对应,如果对应,则继续当前的批量采集任务;如果变更后的字段类型与hive类型不对应则进行容错处理并暂停当前任务;3)根据执行完容错处理所生成的批量采集任务,对数据源进行数据采集。

    一种基于捕获元数据变更的批量数据容错采集方法

    公开(公告)号:CN115712623B

    公开(公告)日:2023-07-18

    申请号:CN202211468833.1

    申请日:2022-11-22

    Abstract: 本发明公开了一种基于捕获元数据变更的批量数据容错采集方法,其步骤包括:1)定时任务获取数据源的元数据最新版本信息,当发生变化时将该数据源的元数据信息推送给消息中间件;2)消息中间件根据该数据源的元数据最新版本信息与上一版本信息,依次进行元数据识别、元数据纠错、元数据匹配、元数据对比,如果对比结果是字段数量发生变更则进行容错处理并暂停当前任务;如果对比结果是字段类型发生变更,则判断变更后的字段类型是否和hive类型对应,如果对应,则继续当前的批量采集任务;如果变更后的字段类型与hive类型不对应则进行容错处理并暂停当前任务;3)根据执行完容错处理所生成的批量采集任务,对数据源进行数据采集。

    一种基于文件交换的跨域微服务注册发布方法及系统

    公开(公告)号:CN111447256B

    公开(公告)日:2022-07-01

    申请号:CN202010146994.3

    申请日:2020-03-05

    Abstract: 本发明涉及一种基于文件交换的跨域微服务注册发布方法及系统。该方法适用于用网闸/光闸隔离的第一网络与第二网络,其中第一网络是服务端网络,第二网络是用户端网络;第一网络对服务节点发布的服务进行注册,生成注册信息,将注册信息放入第一网络的服务注册文件中;网闸/光闸将第一网络的服务注册文件中的注册信息同步至第二网络的服务注册文件中;第二网络根据第二网络的服务注册文件中的注册信息,生成服务代理接口,并提供给用户。本发明在网闸/光闸存在的环境下采用基于安全文件交换的微服务注册发布方案来实现两个涉密内网之间的服务注册,能够在保障公检法司各部门之间网络相互独立的前提下,实现各部门之间的服务注册与发现。

    一种多方证据关联模型构建方法和证据链提取方法及装置

    公开(公告)号:CN110674840B

    公开(公告)日:2022-03-25

    申请号:CN201910778709.7

    申请日:2019-08-22

    Abstract: 本发明提供了一种基于贝叶斯网络的多方证据关联模型构建方法和证据链提取方法及装置。其中包括基于事实判定链条的证据网络构建,证据权重的计算和基于贝叶斯网络的证据链条推理方法。证据来源分为原告证据、被告证据、司法鉴定证据和第三方证据等方面。首先,构建了多方证据关联网络,其中每个证据实体作为网络中的一个节点,基于证据要素之间的关联关系计算了网络中节点之间的相关概率。随后,基于事件判定链的证据类型,构建了基于贝叶斯网络的多方证据关联模型。最后,采用遗传算法对贝叶斯网网络进行了优化,得到可信证据链条。本发明可以从多方来源发现可信度最大证据链条,帮助司法人员从多方印证或者互相矛盾的证据中筛选可信证据链条。

    一种基于文件交换的跨域微服务注册发布方法及系统

    公开(公告)号:CN111447256A

    公开(公告)日:2020-07-24

    申请号:CN202010146994.3

    申请日:2020-03-05

    Abstract: 本发明涉及一种基于文件交换的跨域微服务注册发布方法及系统。该方法适用于用网闸/光闸隔离的第一网络与第二网络,其中第一网络是服务端网络,第二网络是用户端网络;第一网络对服务节点发布的服务进行注册,生成注册信息,将注册信息放入第一网络的服务注册文件中;网闸/光闸将第一网络的服务注册文件中的注册信息同步至第二网络的服务注册文件中;第二网络根据第二网络的服务注册文件中的注册信息,生成服务代理接口,并提供给用户。本发明在网闸/光闸存在的环境下采用基于安全文件交换的微服务注册发布方案来实现两个涉密内网之间的服务注册,能够在保障公检法司各部门之间网络相互独立的前提下,实现各部门之间的服务注册与发现。

    一种基于贝叶斯网络的多方证据关联模型构建方法和证据链提取方法及装置

    公开(公告)号:CN110674840A

    公开(公告)日:2020-01-10

    申请号:CN201910778709.7

    申请日:2019-08-22

    Abstract: 本发明提供了一种基于贝叶斯网络的多方证据关联模型构建方法和证据链提取方法及装置。其中包括基于事实判定链条的证据网络构建,证据权重的计算和基于贝叶斯网络的证据链条推理方法。证据来源分为原告证据、被告证据、司法鉴定证据和第三方证据等方面。首先,构建了多方证据关联网络,其中每个证据实体作为网络中的一个节点,基于证据要素之间的关联关系计算了网络中节点之间的相关概率。随后,基于事件判定链的证据类型,构建了基于贝叶斯网络的多方证据关联模型。最后,采用遗传算法对贝叶斯网网络进行了优化,得到可信证据链条。本发明可以从多方来源发现可信度最大证据链条,帮助司法人员从多方印证或者互相矛盾的证据中筛选可信证据链条。

Patent Agency Ranking