非结构化数据采集方法、装置、系统和计算机设备

    公开(公告)号:CN110990351B

    公开(公告)日:2020-09-04

    申请号:CN201911234297.7

    申请日:2019-12-05

    Abstract: 本申请涉及一种非结构化数据采集方法、装置、系统、计算机设备和存储介质。所述方法包括:当检测到结构化数据发生变化时,获取采集任务;根据所述采集任务确定文件服务器类型;从多源端文件服务器中,确定与所述文件服务器类型对应的目标文件服务器;从变化后的结构化数据中,获取所述目标文件服务器的访问路径信息;基于所述访问路径信息,访问所述目标文件服务器,以采集所述目标文件服务器存储的非结构化数据。采用本方法能够实现了对于具有多种文件存储架构的多源端系统,自动识别文件服务器类型,进而采集非结构化数据,从而,解决了传统的非结构化数据采集工具适用性差、难以扩展的问题。

    数据交换同步方法、系统、装置、服务器和存储介质

    公开(公告)号:CN110909079B

    公开(公告)日:2020-09-01

    申请号:CN201911140533.9

    申请日:2019-11-20

    Abstract: 本申请涉及一种数据交换同步方法和系统,包括:获取目标数据数据交换同步任务;根据交换同步任务的任务配置信息,获取数据读取指令和数据写入指令;向配置在任务处理节点服务器的数据读取组件发送数据读取指令,指示数据读取组件从源端数据库中获取目标数据,并将目标数据传输到消息中间件;消息中间件配置在任务处理节点服务器,用于接收数据读取组件发送的数据;向配置在任务处理节点服务器的数据写入组件发送数据写入指令,指示数据写入组件从消息中间件中读取目标数据,并将目标数据发送至目标端数据库。本申请通过消息中间件分开数据读写组件,可以同时进行数据读取和数据写入,从而提高了源端数据库与目标端数据库间的数据交换的效率。

    数据开发任务测试方法、装置、计算机设备和存储介质

    公开(公告)号:CN111078553A

    公开(公告)日:2020-04-28

    申请号:CN201911292153.7

    申请日:2019-12-16

    Abstract: 本申请涉及一种数据开发任务测试方法、装置、计算机设备和存储介质。所述方法包括:生成任务发布包;所述任务发布包包含有开发数据;将所述任务发布包部署至测试环境,以及,确定与所述开发数据对应的测试资源;所述测试资源包括:存储资源和计算资源;调用所述测试资源,对所述开发数据进行测试;当测试成功时,将所述任务发布包部署至生产环境,完成上线操作。采用本方法能够实现对数据开发任务的自动化测试,降低对运维人员的要求,若出现运行故障,便于进行回滚操作,查找原因。

    非结构化数据采集方法、装置、系统和计算机设备

    公开(公告)号:CN110990351A

    公开(公告)日:2020-04-10

    申请号:CN201911234297.7

    申请日:2019-12-05

    Abstract: 本申请涉及一种非结构化数据采集方法、装置、系统、计算机设备和存储介质。所述方法包括:当检测到结构化数据发生变化时,获取采集任务;根据所述采集任务确定文件服务器类型;从多源端文件服务器中,确定与所述文件服务器类型对应的目标文件服务器;从变化后的结构化数据中,获取所述目标文件服务器的访问路径信息;基于所述访问路径信息,访问所述目标文件服务器,以采集所述目标文件服务器存储的非结构化数据。采用本方法能够实现了对于具有多种文件存储架构的多源端系统,自动识别文件服务器类型,进而采集非结构化数据,从而,解决了传统的非结构化数据采集工具适用性差、难以扩展的问题。

    电力系统的多租户数据处理系统、方法和装置

    公开(公告)号:CN110941681A

    公开(公告)日:2020-03-31

    申请号:CN201911268589.2

    申请日:2019-12-11

    Abstract: 本申请涉及一种电力系统的多租户数据处理系统、方法和装置,该系统包括:多租户模型和大数据处理平台;多租户模型,包括租户前端、管理员前端和后台服务器;租户前端,用于将目标租户的租户请求发送至后台服务器;管理员前端,用于获取租户请求,并将针对于租户请求的租户请求反馈指令发送至后台服务器;若租户请求反馈指令为租户请求同意指令,后台服务器将对应的第一响应指示信息以及租户请求发送至大数据处理平台;大数据处理平台,用于接收第一响应指示信息以及租户请求,对租户请求进行响应,将第一响应结果反馈至后台服务器。本申请通过构建多租户模型与大数据处理平台进行数据交互的系统架构,提高对电力系统的多租户数据处理的效率。

Patent Agency Ranking