-
公开(公告)号:CN115718863A
公开(公告)日:2023-02-28
申请号:CN202211587894.X
申请日:2022-12-12
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本申请实施例提供一种多模态数据处理方法及系统,涉及普适计算技术领域。该多模态数据处理方法包括获取目标数据中的多模态数据,将所述多模态数据中至少两种单模态数据的语义信息进行特征化;多模态数据样本的特征进行数值化,以该数值为输入值,并以多模态数据样本的该标签为调教目标;获取待处理多模态数据,将该待处理多模态数据的特征输入该模态选择模型,仅保留该模态组合选择结果,得到修改后的多模态数据;修改后的多模态数据上传至服务器,由所述服务器对所述多模态故障数据进行处理;该处理方法能充分利用多模态之间的有效冗余性,从主动的高质量数据模态选择的角度来解决问题,适用性强。
-
公开(公告)号:CN114625807A
公开(公告)日:2022-06-14
申请号:CN202210169028.2
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/28 , G06F16/215 , G06F16/25 , G06F16/23
Abstract: 本发明公开了一种批量数据入库方法及系统,该批量数据入库系统包括检测模块、数据接收模块、数据处理模块、数据引擎、数据库和数据清理模块,该批量数据入库方法包括离线数据入库和实时数据入库两种方式,具体操作步骤如下:S1:离线数据入库:S11:通过数据引擎对数据进行提取;S12:通过数据接收模块把数据进行汇集并通过数据清理模块对数据进行清理;S13:根据数据处理模块对清理后的数据配置SQL脚本。本申请通过在离线数据入库时对数据进行清理,清理后的数据用来配置SQL脚本,通过检测模块对服务器性能进行检测,并对数据进行分批转化上传处理,大大减轻了服务器的压力,提高了服务器的使用寿命,提高了数据的上传效率。
-
公开(公告)号:CN113537824A
公开(公告)日:2021-10-22
申请号:CN202110886449.2
申请日:2021-08-03
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本发明提供一种电网数据全链路监控系统,包括针对电网数据的监控管理平台,监控管理平台对接用于存储电网数据的数据中心,监控管理平台包括:首页模块,其对监控管理平台的功能整体情况进行展示;应用监控模块,其对电网数据采集过程中的链路数据流转情况进行监控和展示;数据监控模块,其对电网数据的采集链路进行实时质量监控和展示;作业监控模块,其对各类电网数据的加工、计算和分析作业进程同时进行监控和展示;平台监控模块,其对监控管理平台的资源运行使用情况进行实时监控和展示;系统管理模块,其集成各类日志监控功能;个人工作台模块,其将异常类信息告警展示给系统运维人员,并接收系统运维人员的数据处理操作。
-
公开(公告)号:CN109510840B
公开(公告)日:2021-07-13
申请号:CN201811584840.1
申请日:2018-12-24
Applicant: 中国南方电网有限责任公司 , 南方电网数字电网研究院有限公司
IPC: H04L29/06 , H04L9/08 , G06F16/903
Abstract: 本申请涉及一种非结构化数据的共享方法、系统、计算机设备和存储介质。所述方法包括:接收终端发送的数据共享请求信息,数据共享请求信息携带有当前用户信息,当前用户信息为当前数据请求用户的用户信息;根据当前用户信息确定目标数据范围,目标数据范围为当前数据请求用户能够获得的非结构化数据的数据范围;根据数据共享请求信息以及目标数据范围,获取目标响应数据的目标密文数据,将目标密文数据返回给终端;在接收到终端返回的目标密文数据的接收完成信息时,将目标密文数据的目标解密因子发送给终端,目标解密因子用于解密目标密文数据得到目标响应数据。采用本方法能够提升数据安全性和共享实时性。
-
公开(公告)号:CN111078553B
公开(公告)日:2021-06-15
申请号:CN201911292153.7
申请日:2019-12-16
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F11/36
Abstract: 本申请涉及一种数据开发任务测试方法、装置、计算机设备和存储介质。所述方法包括:生成任务发布包;所述任务发布包包含有开发数据;将所述任务发布包部署至测试环境,以及,确定与所述开发数据对应的测试资源;所述测试资源包括:存储资源和计算资源;调用所述测试资源,对所述开发数据进行测试;当测试成功时,将所述任务发布包部署至生产环境,完成上线操作。采用本方法能够实现对数据开发任务的自动化测试,降低对运维人员的要求,若出现运行故障,便于进行回滚操作,查找原因。
-
公开(公告)号:CN110909079A
公开(公告)日:2020-03-24
申请号:CN201911140533.9
申请日:2019-11-20
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/27
Abstract: 本申请涉及一种数据交换同步方法和系统,包括:获取目标数据数据交换同步任务;根据交换同步任务的任务配置信息,获取数据读取指令和数据写入指令;向配置在任务处理节点服务器的数据读取组件发送数据读取指令,指示数据读取组件从源端数据库中获取目标数据,并将目标数据传输到消息中间件;消息中间件配置在任务处理节点服务器,用于接收数据读取组件发送的数据;向配置在任务处理节点服务器的数据写入组件发送数据写入指令,指示数据写入组件从消息中间件中读取目标数据,并将目标数据发送至目标端数据库。本申请通过消息中间件分开数据读写组件,可以同时进行数据读取和数据写入,从而提高了源端数据库与目标端数据库间的数据交换的效率。
-
公开(公告)号:CN114357031B
公开(公告)日:2024-09-03
申请号:CN202210008534.3
申请日:2022-01-06
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2458 , G06F16/21 , G06F16/22 , G06F16/25 , G06F16/27
Abstract: 本发明公开的属于数据加工技术领域,具体为一种数据查看引擎动态调用方法,包括具体步骤如下:读取用作分析的数据表:用户通过一种编程语言,从数据源中读取要分析用的数据表,其中,编程语言为sql、R、Python中的其中一种;建立不同的计算处理引擎来处理不同级别的数据量来进行预览和执行,预览为取部分数据进行处理,执行为取全部数据进行处理,用于预览的资源为单机服务器配置,资源消耗较小支持用户并发数较大,本发明提升了查看数据的效率,相对于单线程计算引擎,分布式计算引擎在计算过程中增加了数据分块和资源管理的过程,对于小数据量来说这些反而增加了负担,因此对于小数据量的计算,单线程引擎更加有效。
-
公开(公告)号:CN114637944A
公开(公告)日:2022-06-17
申请号:CN202210169051.1
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/958 , G06F16/957 , H04L9/40 , H04L67/1097 , H04L67/55
Abstract: 本发明属于互联网技术领域,且公开了基于大数据应用的网络安全浏览数据同步更新方法,包括如下步骤:S1、用户可通过用户登录端口A处以输入账号密码的形式进入到静态浏览器页面内;S2、在输入账号密码正确时,会触发推送服务器向云存储服务器发出信息同步请求;云存储服务器则会通过推送服务器直接以刷新静态浏览器页面的形式进入到浏览器操作页面。本发明通过设置有推送服务器、云存储服务器和实时监测记录系统等配合从而实现网络安全浏览数据同步更新的优点,用户以正确输入账号密码的形式进入到静态浏览器页面内,会触发推送服务器内的智能判断系统,并识别是否为常用IP地址,便可以实现网络安全浏览数据同步更新的目的。
-
公开(公告)号:CN114493646A
公开(公告)日:2022-05-13
申请号:CN202110931356.7
申请日:2021-08-13
Applicant: 南方电网数字电网研究院有限公司
IPC: G06Q30/02
Abstract: 本发明公开了一种准实时标签画像的构建方法及系统,所述方法包括:通过获取用户数据;从所述用户数据中提取特征数据;根据所述特征数据设定为所述用户的标签画像。优点:不需要训练模型,成本低;标签构建周期短、能灵活快速地满足不同人员的标签需求,门槛低,容易理解、接受度高。
-
公开(公告)号:CN112784994A
公开(公告)日:2021-05-11
申请号:CN202011633318.5
申请日:2020-12-31
Applicant: 浙江大学 , 南方电网数字电网研究院有限公司
Abstract: 本发明公开一种基于区块链的联邦学习数据参与方贡献值计算和激励方法,该方法包括步骤:对数据参与方的本地训练模型进行特征提取,获得模型更新数据;数据需求方对所述模型更新数据解码,得到中间验证模型;数据需求方对中间验证模型分批次评估得到评估指标;根据所述评估指标计算所述数据参与方的贡献度;根据所述数据参与方的贡献度向数据参与方分配激励值;将数据参与方的激励值和地址形成奖励队列放入区块链上。本发明以由数据需求方对数据参与方的贡献进行评估和计算,再以各方贡献为分配依据进行奖励的分配,保证公平性,同时提高数据拥有方参与联邦学习的热情;有效地鼓励和吸引数据拥有方参与到联邦学习中来。
-
-
-
-
-
-
-
-
-