-
公开(公告)号:CN107454013A
公开(公告)日:2017-12-08
申请号:CN201710428417.1
申请日:2017-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/803 , G06F17/30
CPC classification number: H04L47/125 , G06F16/278 , G06F16/285
Abstract: 本发明提供了一种流数据处理系统用数据分区的方法和装置,包括根据实时统计的流元组个数,将流数据以键值为单位划分为hot-key和non-hot-key;将分类后的流数据分配给选定的工作节点中负载最少的工作节点,完成数据分区。本发明提供的技术方案避免了数据源节点和工作节点间的通信开销,有效实现了负载均衡。
-
公开(公告)号:CN105468677B
公开(公告)日:2019-11-19
申请号:CN201510781245.7
申请日:2015-11-13
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于图结构的日志聚类方法,包括,基于文本分词、向量相似度以及最大连通子图对日志进行聚类,获取特征库;并根据特征库中的类别特征对海量日志进行类别标记;该方法无需人工指定聚类数目,自动识别海量日志中最合适的类别数目;另外,该方法可对日志进行精准分类,为海量日志数据挖掘奠定了基础。
-
公开(公告)号:CN104052820A
公开(公告)日:2014-09-17
申请号:CN201410301191.5
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
CPC classification number: Y02D10/24
Abstract: 本发明提供一种分布式云计算平台的动态节能资源调度系统及其方法,该系统包括所述分布式云计算平台下的云服务器节点,所述云服务器节点分别连接全局控制器和监测系统;所述全局控制器和所述监测系统分别连接建模分析模块;所述监测系统包括能耗监测模块、流量监测模块和资源监测模块;所述云服务器节点上运行节点控制器。本发明的系统和方法针对分布式云计算平台的跨域分布特点及综合节能资源调度需求,实现同时降低服务器和网络能耗的效果。
-
公开(公告)号:CN105468677A
公开(公告)日:2016-04-06
申请号:CN201510781245.7
申请日:2015-11-13
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供一种基于图结构的日志聚类方法,包括,基于文本分词、向量相似度以及最大连通子图对日志进行聚类,获取特征库;并根据特征库中的类别特征对海量日志进行类别标记;该方法无需人工指定聚类数目,自动识别海量日志中最合适的类别数目;另外,该方法可对日志进行精准分类,为海量日志数据挖掘奠定了基础。
-
公开(公告)号:CN108733384A
公开(公告)日:2018-11-02
申请号:CN201810293818.5
申请日:2018-03-30
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61 , G06F9/4401
CPC classification number: G06F8/63 , G06F9/4416
Abstract: 本发明提供了一种操作系统远程批量部署方法和系统,包括:通过服务端服务器配置操作系统部署任务,并将操作系统部署任务下发给多个代理端服务器;将任一代理端服务器设为第一缓存服务器,并为第一缓存服务器配置动态主机配置协议;由第一缓存服务器基于操作系统部署任务为剩余代理端服务器部署操作系统;将任一剩余代理端服务器设为第二缓存服务器同时配置动态主机配置协议,由第二缓存服务器为第一代理端服务器部署操作系统。该方法和系统能够大规模、跨地域的灵活部署操作系统,克服了现有技术在每个机房内都部署一套安装软件然后通过远程调用方式启动,造成了重复部署浪费和多套软件配置、维护困难的缺点,节省了部署和管理成本。
-
公开(公告)号:CN107391560A
公开(公告)日:2017-11-24
申请号:CN201710428418.6
申请日:2017-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/9024
Abstract: 本发明提供了一种方差优化直方图的构建方法和装置,该方法按内存大小和查询精度设定样本数目K和直方图桶的个数B,有新元素出现时,为使样本数目保持在K,以在线数据采样方法优化内存空间的数据样本;根据优化的内存空间数据样本,动态构建方差优化直方图;该装置包括优化单元和构建单元。本发明提供的技术方案降低了数据规模与分布特征的影响,能有效减少数据倾斜或数据分布的不均匀带来的区间检索误差。
-
公开(公告)号:CN107193862A
公开(公告)日:2017-09-22
申请号:CN201710212747.7
申请日:2017-04-01
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/9024
Abstract: 本发明涉及一种基于Spark Streaming的方差优化直方图构建方法及装置,该法包括:利用Spark Streaming对流数据进行在线采样;根据在线采样数据,动态构建方差优化直方图;利用新加入数据动态更新所述方差优化直方图,并根据新加入数据重新动态构建方差优化直方图;本发明提供的技术方案,可在限定内存空间内通过单遍扫描数据构建高精度的近似方差优化直方图。
-
公开(公告)号:CN107391560B
公开(公告)日:2022-12-30
申请号:CN201710428418.6
申请日:2017-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/901
Abstract: 本发明提供了一种方差优化直方图的构建方法和装置,该方法按内存大小和查询精度设定样本数目K和直方图桶的个数B,有新元素出现时,为使样本数目保持在K,以在线数据采样方法优化内存空间的数据样本;根据优化的内存空间数据样本,动态构建方差优化直方图;该装置包括优化单元和构建单元。本发明提供的技术方案降低了数据规模与分布特征的影响,能有效减少数据倾斜或数据分布的不均匀带来的区间检索误差。
-
-
-
-
-
-
-