-
公开(公告)号:CN110990351B
公开(公告)日:2020-09-04
申请号:CN201911234297.7
申请日:2019-12-05
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/17 , G06F16/901
Abstract: 本申请涉及一种非结构化数据采集方法、装置、系统、计算机设备和存储介质。所述方法包括:当检测到结构化数据发生变化时,获取采集任务;根据所述采集任务确定文件服务器类型;从多源端文件服务器中,确定与所述文件服务器类型对应的目标文件服务器;从变化后的结构化数据中,获取所述目标文件服务器的访问路径信息;基于所述访问路径信息,访问所述目标文件服务器,以采集所述目标文件服务器存储的非结构化数据。采用本方法能够实现了对于具有多种文件存储架构的多源端系统,自动识别文件服务器类型,进而采集非结构化数据,从而,解决了传统的非结构化数据采集工具适用性差、难以扩展的问题。
-
公开(公告)号:CN110909079B
公开(公告)日:2020-09-01
申请号:CN201911140533.9
申请日:2019-11-20
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/27
Abstract: 本申请涉及一种数据交换同步方法和系统,包括:获取目标数据数据交换同步任务;根据交换同步任务的任务配置信息,获取数据读取指令和数据写入指令;向配置在任务处理节点服务器的数据读取组件发送数据读取指令,指示数据读取组件从源端数据库中获取目标数据,并将目标数据传输到消息中间件;消息中间件配置在任务处理节点服务器,用于接收数据读取组件发送的数据;向配置在任务处理节点服务器的数据写入组件发送数据写入指令,指示数据写入组件从消息中间件中读取目标数据,并将目标数据发送至目标端数据库。本申请通过消息中间件分开数据读写组件,可以同时进行数据读取和数据写入,从而提高了源端数据库与目标端数据库间的数据交换的效率。
-
公开(公告)号:CN115757678A
公开(公告)日:2023-03-07
申请号:CN202211380641.5
申请日:2022-11-04
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/31 , G06F16/383 , G06F16/71 , G06F16/783 , G06F16/78
Abstract: 本发明提供的一种基于视点合成的非结构化数据内容检索方法包括:根据非结构化数据的特点,利用视频压缩技术对海量的非结构化数据进行压缩,便于传输和存储;利用视点合成技术对相邻的视频数据进行拼接,优化非结构化数据;利用迭代投影重建的图像上采样方法细化图像纹理细节,并采用深度学习方法实现图像信息的细粒度目标识别,形成相应的检索标签,用于支撑后续检索。能够以较低的时间成本再现精细的纹理细节。在图像和视频内容分析上,通过建立深度学习模型,进行分析。
-
公开(公告)号:CN111078553A
公开(公告)日:2020-04-28
申请号:CN201911292153.7
申请日:2019-12-16
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F11/36
Abstract: 本申请涉及一种数据开发任务测试方法、装置、计算机设备和存储介质。所述方法包括:生成任务发布包;所述任务发布包包含有开发数据;将所述任务发布包部署至测试环境,以及,确定与所述开发数据对应的测试资源;所述测试资源包括:存储资源和计算资源;调用所述测试资源,对所述开发数据进行测试;当测试成功时,将所述任务发布包部署至生产环境,完成上线操作。采用本方法能够实现对数据开发任务的自动化测试,降低对运维人员的要求,若出现运行故障,便于进行回滚操作,查找原因。
-
公开(公告)号:CN110990351A
公开(公告)日:2020-04-10
申请号:CN201911234297.7
申请日:2019-12-05
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/17 , G06F16/901
Abstract: 本申请涉及一种非结构化数据采集方法、装置、系统、计算机设备和存储介质。所述方法包括:当检测到结构化数据发生变化时,获取采集任务;根据所述采集任务确定文件服务器类型;从多源端文件服务器中,确定与所述文件服务器类型对应的目标文件服务器;从变化后的结构化数据中,获取所述目标文件服务器的访问路径信息;基于所述访问路径信息,访问所述目标文件服务器,以采集所述目标文件服务器存储的非结构化数据。采用本方法能够实现了对于具有多种文件存储架构的多源端系统,自动识别文件服务器类型,进而采集非结构化数据,从而,解决了传统的非结构化数据采集工具适用性差、难以扩展的问题。
-
公开(公告)号:CN110941681A
公开(公告)日:2020-03-31
申请号:CN201911268589.2
申请日:2019-12-11
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本申请涉及一种电力系统的多租户数据处理系统、方法和装置,该系统包括:多租户模型和大数据处理平台;多租户模型,包括租户前端、管理员前端和后台服务器;租户前端,用于将目标租户的租户请求发送至后台服务器;管理员前端,用于获取租户请求,并将针对于租户请求的租户请求反馈指令发送至后台服务器;若租户请求反馈指令为租户请求同意指令,后台服务器将对应的第一响应指示信息以及租户请求发送至大数据处理平台;大数据处理平台,用于接收第一响应指示信息以及租户请求,对租户请求进行响应,将第一响应结果反馈至后台服务器。本申请通过构建多租户模型与大数据处理平台进行数据交互的系统架构,提高对电力系统的多租户数据处理的效率。
-
-
-
-
-