-
公开(公告)号:CN111694860A
公开(公告)日:2020-09-22
申请号:CN202010350182.0
申请日:2020-04-28
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/245 , G06F16/22
Abstract: 本发明提供一种安全检测的时序数据实时异常发现方法及电子装置,该方法步骤包括:根据配置文件,创建或读取TimescaleDB时序数据库表;将所述时序数据实时插入所述TimescaleDB时序数据库表,并经哈希函数计算处理进行分桶,邻居数据被哈希到相同的桶中;计算每个桶内数据数量与所有桶内的桶内数据数量的平均值,并根据一设定阈值判断所述时序数据是否异常。本发明提高了异常检测应用的写入与查询性能,不需要存储所有的历史数据,能够大幅度节省空间,在发生意外如断电的情况时不会发生数据丢失和应用失效,不需要对样本进行标注,也无需进行模型训练。易于部署和降低开发成本。
-
公开(公告)号:CN118587069A
公开(公告)日:2024-09-03
申请号:CN202410753996.7
申请日:2024-06-12
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06Q50/26 , G06F18/241
Abstract: 本发明涉及数据出境安全技术领域,公开了一种基于分类分级的数据出境合规路径推荐方法及系统,根据数据处理者是否属于关键信息基础设施运营者、实际数据出境类型、数据敏感程度、数据链路情况,判断与申报材料相比是否有错误,是则根据不同对比情况给出合规建议,否则该数据出境业务场景合规,无需额外处理;判断数据出境业务场景是否属于预设可免予申报数据出境安全评估、订立个人信息出境标准合同、通过个人信息保护认证的场景,若全部出境场景均属于,则结束;根据数据处理者是否属于关键信息基础设施运营者、实际出境数据明细日志,结合预定义的数据分类分级标准,分析出境数据类型、数据敏感程度、不同时间范围内出境的数据数量以及自然人数,完成数据出境合规路径的自动化推荐。本发明结合数据处理者境内数据出境出口日志数据,实现对数据处理者数据出境合规三种路径的推荐以及合规后常态化监测,并根据实际问题给出合理处置建议。
-
公开(公告)号:CN106446168B
公开(公告)日:2019-11-01
申请号:CN201610849787.8
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/25
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN106484815A
公开(公告)日:2017-03-08
申请号:CN201610849786.3
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30442 , G06F17/30321 , G06F17/30427
Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法,属于海量数据统计分析领域。本发明通过五方面来进行优化:引入lucene作为可选存储介质;对每个数据文件的检索字段增加bloomfilter索引(bf索引);对不同检索场景的划分及最优存储介质的选择;在进行lucene检索场景时,将类SQL语句转换为lucene语句;对lucene存储介质和bf索引添加有效性的会话级设置。在检索时,首先判定bf索引会话级的有效性,通过bf索引缩小待检索数据文件列表,再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗,大幅度提升了海量数据的检索性能。
-
公开(公告)号:CN118363980B
公开(公告)日:2024-09-24
申请号:CN202410788650.0
申请日:2024-06-19
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
Abstract: 本发明涉及数据处理技术领域,具体涉及一种SQL语句智能合并方法及系统,包括:获取历史数据库中分句向量和合句向量,待合并的SQL分句;将分句作为底层根据每任意两个合句向量之间的相似情况,构建预测树结构,并构建层次聚类树;根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层;对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量;根据特征向量之间的相似情况进行特征匹配的结果,并进行特征合并,确定合并特征向量;根据待合并的SQL分句与合并特征向量之间的特征匹配情况,计算待合并的SQL分句之间的合并概率;基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号:CN118363980A
公开(公告)日:2024-07-19
申请号:CN202410788650.0
申请日:2024-06-19
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
Abstract: 本发明涉及数据处理技术领域,具体涉及一种SQL语句智能合并方法及系统,包括:获取历史数据库中分句向量和合句向量,待合并的SQL分句;将分句作为底层根据每任意两个合句向量之间的相似情况,构建预测树结构,并构建层次聚类树;根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层;对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量;根据特征向量之间的相似情况进行特征匹配的结果,并进行特征合并,确定合并特征向量;根据待合并的SQL分句与合并特征向量之间的特征匹配情况,计算待合并的SQL分句之间的合并概率;基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号:CN117336080A
公开(公告)日:2024-01-02
申请号:CN202311383389.8
申请日:2023-10-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L9/40
Abstract: 本发明涉及病毒检测技术领域,公开了一种基于流量和指标的暴力破解检测系统及方法,包括安装在受监测服务器上的指标采集模块、指标分析模块、流量采集模块和流量分析模块,流量采集模块与所述流量分析模块连接,指标采集模块与所述指标分析模块连接,与流量分析模块和指标分析模块连接有检测服务器,检测服务器设有暴力破解行为检测模块,与所述检测服务器连接有数据库服务器,数据库服务器设有异常行为库模块,与所述数据库服务器连接有界面服务器,所述界面服务器设有告警界面模块。本发明解决当前基于文件扫描和样本分析的检测方法中的检测耗时久,占用资源高的问题,同时可缩短从行为发生到行为被检测的时间,提升检测的时效性。
-
公开(公告)号:CN109857535B
公开(公告)日:2021-06-11
申请号:CN201910122390.2
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置,所述方法包括:SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列;接收用户通过Jdbc接口下发的指定优先级队列命令,完成Jdbc会话级别的优先级设置;接收用户提交的检索SQL,将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中;通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配,将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号:CN109885642A
公开(公告)日:2019-06-14
申请号:CN201910119254.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置,所述方法包括:获取SQL语句,创建全文检索表,并将所述全文检索表持久化到Zookeeper中;配置ElasticSearch集群中一部分节点使用SSD盘,另一部分节点使用SATA盘,并在每个节点上安装自定义的ElasticSearch插件;数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中,通过所述ElasticSearch插件对请求进行过滤,并使用预先存储的全文检索表中的元数据进行索引创建;通过所述ElasticSearch插件运行监听策略,监听Zookeeper中表的元数据信息的变化,并应用分级存储策略,执行定时回滚策略,将回滚任务下发给ElasticSearch集群。
-
公开(公告)号:CN106484815B
公开(公告)日:2019-04-12
申请号:CN201610849786.3
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/22 , G06F16/2452
Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法,属于海量数据统计分析领域。本发明通过五方面来进行优化:引入lucene作为可选存储介质;对每个数据文件的检索字段增加bloomfilter索引(bf索引);对不同检索场景的划分及最优存储介质的选择;在进行lucene检索场景时,将类SQL语句转换为lucene语句;对lucene存储介质和bf索引添加有效性的会话级设置。在检索时,首先判定bf索引会话级的有效性,通过bf索引缩小待检索数据文件列表,再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗,大幅度提升了海量数据的检索性能。
-
-
-
-
-
-
-
-
-