-
公开(公告)号:CN118897947A
公开(公告)日:2024-11-05
申请号:CN202410846433.2
申请日:2024-06-27
Applicant: 贵州电网有限责任公司
IPC: G06F18/10 , G06F40/289 , G06F40/216 , G06F40/30 , G06F40/126 , G06F18/25 , G06F18/22 , G06N3/0442 , G06N3/045
Abstract: 本发明公开了一种面向大数据环境的动态文档去重方法及系统,涉及动态文档去重技术领域,包括采集原始文本数据并进行预处理,基于自然语言处理方法对预处理文本数据进行关键词切分;计算切分文本数据中每个关键词的TF‑IDF值获取频率文本数据,基于哈希函数生成关键词特征集并生成标识符;通过标识符比较各文档的相似度,构建分布式计算框架对比较过程进行并行去重处理。本发明所述方法基于自然语言处理方法对预处理文本数据进行关键词切分,提高了数据的结构化水平,通过TF‑IDF值计算和哈希函数映射,提高了数据处理的效率和准确性,通过并行计算和任务分发,解决了现有技术在处理大规模数据时存在的效率瓶颈问题。
-
公开(公告)号:CN118779465A
公开(公告)日:2024-10-15
申请号:CN202410800497.9
申请日:2024-06-20
Applicant: 贵州电网有限责任公司
IPC: G06F16/36 , G06F16/31 , G06F40/289 , G06N3/08 , G06N3/045 , G06F16/35 , G06F18/22 , G06F18/23 , G06Q50/06
Abstract: 本发明公开了一种基于机器学习的能源行业知识图谱优化与更新方法,涉及电力系统技术领域,包括,获取与能源行业知识相关的结构化数据、半结构化数据、非结构化数据以及实时数据;对获取的数据进行数据清洗、标准化以及数据标注,得到数据集;采用深度学习模型对数据集进行实体识别和关系抽取,将实体和关系表示为三元组,生成知识图谱,并采用图数据库存储和管理所述知识图谱。本发明通过整合能源行业相关的数据到一个统一的数据集中,充分利用各种类型的数据,提高数据的全面性和准确性。
-
公开(公告)号:CN119652766A
公开(公告)日:2025-03-18
申请号:CN202411777969.X
申请日:2024-12-05
Applicant: 贵州电网有限责任公司
IPC: H04L41/12 , H04L9/40 , H04L67/1001
Abstract: 本发明公开了一种能源数据中心的网络拓扑架构构建方法及系统,涉及网络拓扑架构技术领域,包括基于外部环境与内部核心网络构建缓冲区域和多层防护机制,对请求信息进行多重过滤,得到多重过滤后的请求信息;部署负载均衡器并利用调度算法进行计算,得到负载评分,基于所述负载评分对所述多重过滤后的请求信息进行分配;利用身份验证服务器对分配的多重过滤后的请求信息进行凭证验证和数据传输。本发明通过建立缓冲区域和多层防护机制,对请求信息进行多重过滤,减少了恶意或不必要的数据流入内部网络;通过对请求信息进行负载评分,优化服务器的资源分配,避免了某一服务器过载而导致的性能下降或宕机风险。
-
公开(公告)号:CN119645983A
公开(公告)日:2025-03-18
申请号:CN202411789337.5
申请日:2024-12-06
Applicant: 贵州电网有限责任公司
IPC: G06F16/215 , G06F16/242 , G06F16/25 , G06F16/28
Abstract: 本发明公开了一种多源异构能源数据的入湖方法包括,获取来自能源企业内外部系统的多源异构数据,进行入湖数据预处理;多源异构数据入湖,由Apache Flink作为统一的数据入湖引擎,每类数据的入湖方式不同,通过不同的入湖控制器进行数据入湖;执行湖数据归档、删除、迁移。本发明通过使用Flink+Iceberg的技术架构实现多源异构能源数据实时入湖,支持从不同类型的数据源接入数据,确保数据来源的多样化和全面性,适配多种数据格式,满足能源业务处理的实时性和灵活性要求。
-
公开(公告)号:CN118886422A
公开(公告)日:2024-11-01
申请号:CN202410785096.0
申请日:2024-06-18
Applicant: 贵州电网有限责任公司
IPC: G06F40/284 , G06F40/216 , G06F40/242 , G06F40/30 , G06F18/2135 , G06F18/24 , G06F18/25
Abstract: 本发明公开了自然语言处理技术的文档分类与热点话题生成方法及系统,涉及自然语言处理技术领域,包括:收集需要分类的原始文档数据集;使用分词算法将原始文档数据集切分为词汇单元;基于词汇单元对文档数据集进行基本特征提取;通过基本特征对原始文档数据集进行类别划分,获得分类文档;获取话题在分类文档中分布和关联,并识别出高频话题作为热点话题。本发明显著提高了文档处理的效率和准确性。通过结合基于规则和基于统计的分词方法,精确的TF‑IDF特征提取技术以及先进的潜在狄利克雷分配(LDA)模型,本发明能够有效处理大规模文档数据集,精准地识别并提取关键特征,以及准确地生成和识别热点话题。
-
公开(公告)号:CN119884218A
公开(公告)日:2025-04-25
申请号:CN202411816755.9
申请日:2024-12-11
Applicant: 贵州电网有限责任公司
Abstract: 本发明公开了一种多服务集成的能源数据中心管理系统及方法,涉及数据中心管理技术领域,包括基础资源模块、数据处理模块、应用服务模块以及支撑保障模块;所述基础资源模块用于提供计算、存储和网络资源;所述数据处理模块与所述基础资源模块连接,负责数据的收集、初步处理、开发、资产管理、安全管理和隐私计算;所述应用服务模块部署在所述数据处理模块上,用于提供敏捷开发环境、应用管理平台及工业互联网标识解析功能,并为用户提供直接操作界面和服务门户;所述支撑保障模块进行独立设置并与其它所有模块相交联,用于提供制度机制、标准规范、运维保障和安全防护。本发明提高了系统的抗风险能力,建立了用户对系统的信任感。
-
公开(公告)号:CN119759996A
公开(公告)日:2025-04-04
申请号:CN202411815764.6
申请日:2024-12-11
Applicant: 贵州电网有限责任公司
Abstract: 本发明公开了一种基于湖仓一体的异构能源数据存储方法包括,收集异构能源数据,并对所述数据进行预处理;对处理后的数据利用FCM算法进行模糊聚类提取出特征关键字;基于Hive组件将所述HDFS组件中的所述源数据加载到基于Hive组件创建的湖仓表中。本方法通过FCM聚类和ETL工具统一异构能源数据,优化数据加载和查询效率,降低处理耗时。利用湖仓一体架构增强了数据治理和跨领域共享,提升了系统扩展性和灵活性,降低数据处理耗时,提高数据查询及执行的效率并有效降低数据孤岛难统一管理的问题。
-
公开(公告)号:CN119647776A
公开(公告)日:2025-03-18
申请号:CN202411789333.7
申请日:2024-12-06
Applicant: 贵州电网有限责任公司
IPC: G06Q10/063 , G06Q50/06
Abstract: 本发明公开了一种基于分布式的多级能源数据管理方法包括,获取电力系统的各种电力数据,并识别所述电力系统中的服务点;根据所述电力数据对电力系统中的服务点进行分析,确定所述电力系统中服务点的服务类型;通过对服务点进行定义,得到所述电力系统的能源数据中心需要遵循的约束条件,并对所述约束条件进行线性化处理,得到所述数据执行规则。本发明方法通过集中化的能源数据中心,提高了能源数据的管理效率和分析能力,推动了能源产业的数字化转型,促进了产业的升级和创新发展,通过数据共享和流通,增强了能源数据的可用性,充分释放了能源大数据的价值,通过实时监控和预警,提升能源供应的安全性和稳定性。
-
公开(公告)号:CN119646045A
公开(公告)日:2025-03-18
申请号:CN202411789334.1
申请日:2024-12-06
Applicant: 贵州电网有限责任公司
IPC: G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种针对能源大数据的批流一体数据处理方法包括,进行能源大数据采集及能源大数据存储;使用Flink Catalog统一接入Kafka和Iceberg的元数据,为Kafka和Iceberg分别创建一个数据库空间,进行能源大数据加工处理;执行能源大数据分析应用。本发明的目的在于提供一种针对能源大数据的批流一体数据处理方法,解决现有技术中对能源大数据的流处理与批处理无法有效结合、数据处理效率低、扩展性和兼容性不足、技术先进性不够的问题。
-
公开(公告)号:CN119624622A
公开(公告)日:2025-03-14
申请号:CN202411684889.X
申请日:2024-11-22
Applicant: 贵州电网有限责任公司
IPC: G06Q40/03 , G06Q10/0637 , G06F16/25 , G06F18/15 , G06Q50/06
Abstract: 本发明涉及企业运行和信用评价技术领域,尤其涉及基于企业用电数据的企业运行评价方法及系统,通过整理采集的数据得到一级数据,对一级数据进行处理后构建二级模型,并对其进行赋分和优化。利用智能电表和负荷控制装置等智能装置产生的动态、不可篡改的数据,本方法将可信数据融入企业评价模型中,更客观地反映企业的实时经营状况,提高评估的准确性;此外,模型的评估结果为金融机构在审批贷款前提供重要数据参考,降低复核成本,并通过动态监控警示位数值,有效降低金融风险;同时,企业可以使用模型结果来监管运行情况,制定精准的管控策略,增强对分支机构和子公司的生产与经营的动态监控,从而促进企业自身的发展。
-
-
-
-
-
-
-
-
-