-
公开(公告)号:CN117971861A
公开(公告)日:2024-05-03
申请号:CN202410026797.6
申请日:2024-01-08
Applicant: 国网浙江省电力有限公司营销服务中心 , 浙江华云信息科技有限公司
Inventor: 金王英 , 孙钢 , 沈然 , 陈昱玲 , 王庆娟 , 高杨杨 , 李希鹏 , 钱伟超 , 庄立强 , 李冰 , 胡如一 , 钮益峰 , 徐宏伟 , 刘晓枫 , 周仁杰 , 高官阳 , 蒋斌
IPC: G06F16/242 , G06F18/22 , G06F18/213 , G06N3/096
Abstract: 本发明公开了一种特征解耦可配置的NL2SQL方法,属于数据处理技术领域,包括:构建特征提取模型库;运用正则匹配和迁移学习提取场景、意图、时间和业务维度的对应特征;进行场景特征配置、表映射关系配置、业务维度字段配置;通过场景识别确定用户查询的目标表;通过意图识别结合场景识别确定用户查询的查询内容;将时间特征转换为标准时间格式,利用SQL文本算法,将标准时间格式、业务维度特征和查询内容拼接生成SQL查询语句;通过SQL查询语句进行数据库查询,最终返回准确的查询结果。本方案根据时间特征、业务维度特征以及查询内容拼接生成SQL查询语句来对查询目标表进行查询,显著提高了SQL查询语句的准确性。
-
公开(公告)号:CN113591485B
公开(公告)日:2024-07-12
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06V10/42 , G06V10/75 , G06V10/762 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN111159178A
公开(公告)日:2020-05-15
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
公开(公告)号:CN113591485A
公开(公告)日:2021-11-02
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN111159754A
公开(公告)日:2020-05-15
申请号:CN201911271280.9
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 石佳 , 阳东 , 胡如一 , 吴美娟 , 纪德良 , 王澍 , 解林超 , 王仲锋 , 杨春晨 , 王永平 , 于亚丰 , 汪娟玉 , 丁雪花 , 姜震 , 蒋斌 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 方豪强
IPC: G06F21/62 , G06F16/2452
Abstract: 本发明公开了一种逆向解析的数据脱敏方法及装置,方法包括如下步骤:接收用户发送的查询数据的SQL语句;判断SQL语句是否含有涉及敏感数据的字段的目标列表达式,若不是则终止对SQL语句的处理;判断SQL语句是否有嵌套查询;由内到外逐层递归,直至含有涉及敏感数据的字段的目标列表达式位于SQL语句中最外层的嵌套查询;根据预先设置的脱敏转换规则对所述SQL语句的目标列表达式进行转换,使转换后的SQL语句访问到的敏感数据为脱敏数据;输出SQL语句所要查询的数据;并公开了相应的装置。本发明基于SQL语义逆向自动解析出字段演变足迹的方法,智能分析出最终数据结果是否脱敏处理。
-
公开(公告)号:CN111143468A
公开(公告)日:2020-05-12
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
公开(公告)号:CN111191152A
公开(公告)日:2020-05-22
申请号:CN201911362981.3
申请日:2019-12-26
Applicant: 浙江华云信息科技有限公司
IPC: G06F16/9538 , G06F16/9535 , G06K9/00 , G06K9/62
Abstract: 本公开涉及一种新闻数据展示方法及装置。该方法包括:获取用户的登陆信息,所述登陆信息中包括面部图片;将所述面部图片进行面部识别处理,生成面部特征向量;基于所述面部特征向量,在预设数据库中进行搜索确定新闻数据;以及将所述新闻数据按照其对应的类别属性进行分类展示。本公开涉及的新闻数据展示方法及装置,能够为用户提供个性化的新闻信息展示需求,在新闻编辑和生成时提高新闻图片检索和使用的工作效率。
-
公开(公告)号:CN111143468B
公开(公告)日:2022-12-06
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
公开(公告)号:CN119474330A
公开(公告)日:2025-02-18
申请号:CN202411308575.X
申请日:2024-09-19
Applicant: 浙江华云信息科技有限公司
IPC: G06F16/3331 , G06F40/194 , G06F40/30 , G06F40/151 , G06Q10/0635
Abstract: 本发明公开了基于审计风险的文本查重方法、存储介质及电子装置,属于文本查重技术领域,包括:S1:根据切片符将待查重审计文档切分成第一文本片段,将第一文本片段输入词向量模型中,获取第一词向量库,根据第一词向量库与词向量模型中的历史文档的第二词向量库生成向量对,基于向量对获取第一文档;S2:基于第一文本片段预设关键词,将第一文档与关键词输入混合模型中进行分析,获取第二文档,计算每个第二文档与关键词之间的语义相似度;S3:基于每个第二文档与关键词之间的语义相似度获取第三文档,基于第三文档获取最终查重结果。解决了由于未获取文本与关键词的语义相似度,同时依赖于目标特征语句,导致查重结果漏报与误报的问题。
-
公开(公告)号:CN111159178B
公开(公告)日:2023-06-13
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
-
-
-
-
-
-
-
-