-
公开(公告)号:CN118363980A
公开(公告)日:2024-07-19
申请号:CN202410788650.0
申请日:2024-06-19
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
Abstract: 本发明涉及数据处理技术领域,具体涉及一种SQL语句智能合并方法及系统,包括:获取历史数据库中分句向量和合句向量,待合并的SQL分句;将分句作为底层根据每任意两个合句向量之间的相似情况,构建预测树结构,并构建层次聚类树;根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层;对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量;根据特征向量之间的相似情况进行特征匹配的结果,并进行特征合并,确定合并特征向量;根据待合并的SQL分句与合并特征向量之间的特征匹配情况,计算待合并的SQL分句之间的合并概率;基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号:CN117336080A
公开(公告)日:2024-01-02
申请号:CN202311383389.8
申请日:2023-10-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L9/40
Abstract: 本发明涉及病毒检测技术领域,公开了一种基于流量和指标的暴力破解检测系统及方法,包括安装在受监测服务器上的指标采集模块、指标分析模块、流量采集模块和流量分析模块,流量采集模块与所述流量分析模块连接,指标采集模块与所述指标分析模块连接,与流量分析模块和指标分析模块连接有检测服务器,检测服务器设有暴力破解行为检测模块,与所述检测服务器连接有数据库服务器,数据库服务器设有异常行为库模块,与所述数据库服务器连接有界面服务器,所述界面服务器设有告警界面模块。本发明解决当前基于文件扫描和样本分析的检测方法中的检测耗时久,占用资源高的问题,同时可缩短从行为发生到行为被检测的时间,提升检测的时效性。
-
公开(公告)号:CN113271220B
公开(公告)日:2022-10-14
申请号:CN202110340162.X
申请日:2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: H04L41/04 , H04L41/069 , H04L41/0823 , H04L41/14 , H04L41/22 , H04L67/06 , H04L67/1097 , H04L67/30 , H04L9/40
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN112241365B
公开(公告)日:2022-09-30
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN109189743B
公开(公告)日:2021-09-28
申请号:CN201810671449.9
申请日:2018-06-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/178 , G06F16/182 , H04L12/26 , H04L29/06
Abstract: 本发明公开一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统,属于大数据预处理领域。该方法包括:1)接收图数据并对其进行格式转化;2)根据过滤规则对格式转化之后的数据进行过滤;3)识别过滤之后的数据中的超级节点,并根据识别出的超级节点对所述过滤规则进行动态修改。该系统包括数据接收模块、数据过滤模块、过滤规则管理模块以及超级节点识别模块。本发明可在海量实时图数据流中识别出超级节点,是一种低资源消耗的超级节点识别方案,只需极少资源就可以在海量数据中识别出超级节点。
-
公开(公告)号:CN113271220A
公开(公告)日:2021-08-17
申请号:CN202110340162.X
申请日:2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN109857535B
公开(公告)日:2021-06-11
申请号:CN201910122390.2
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置,所述方法包括:SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列;接收用户通过Jdbc接口下发的指定优先级队列命令,完成Jdbc会话级别的优先级设置;接收用户提交的检索SQL,将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中;通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配,将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号:CN112241365A
公开(公告)日:2021-01-19
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN109885642A
公开(公告)日:2019-06-14
申请号:CN201910119254.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置,所述方法包括:获取SQL语句,创建全文检索表,并将所述全文检索表持久化到Zookeeper中;配置ElasticSearch集群中一部分节点使用SSD盘,另一部分节点使用SATA盘,并在每个节点上安装自定义的ElasticSearch插件;数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中,通过所述ElasticSearch插件对请求进行过滤,并使用预先存储的全文检索表中的元数据进行索引创建;通过所述ElasticSearch插件运行监听策略,监听Zookeeper中表的元数据信息的变化,并应用分级存储策略,执行定时回滚策略,将回滚任务下发给ElasticSearch集群。
-
公开(公告)号:CN109189743A
公开(公告)日:2019-01-11
申请号:CN201810671449.9
申请日:2018-06-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/178 , G06F16/182 , H04L12/26 , H04L29/06
Abstract: 本发明公开一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统,属于大数据预处理领域。该方法包括:1)接收图数据并对其进行格式转化;2)根据过滤规则对格式转化之后的数据进行过滤;3)识别过滤之后的数据中的超级节点,并根据识别出的超级节点对所述过滤规则进行动态修改。该系统包括数据接收模块、数据过滤模块、过滤规则管理模块以及超级节点识别模块。本发明可在海量实时图数据流中识别出超级节点,是一种低资源消耗的超级节点识别方案,只需极少资源就可以在海量数据中识别出超级节点。
-
-
-
-
-
-
-
-
-