-
公开(公告)号：CN105468677B
公开(公告)日：2019-11-19
申请号：CN201510781245.7
申请日：2015-11-13
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于图结构的日志聚类方法，包括，基于文本分词、向量相似度以及最大连通子图对日志进行聚类，获取特征库；并根据特征库中的类别特征对海量日志进行类别标记；该方法无需人工指定聚类数目，自动识别海量日志中最合适的类别数目；另外，该方法可对日志进行精准分类，为海量日志数据挖掘奠定了基础。
-
公开(公告)号：CN109902126A
公开(公告)日：2019-06-18
申请号：CN201910119268.X
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法，所述方法包括：数据源模块，用于接收数据，对数据进行预备分类，按照数据的来源和数据头上所携带的配置信息进行预处理，得到数据所需要写入的对应的HIVE表，将映射关系放入到数据头中，并将数据放入到数据通道；数据通道，用于作为所述数据源模块和所述输出接口模块之间的数据通道；输出接口模块，用于从数据通道中获取数据，对数据反序列化，进行进一步的校验，依据加载系统在HIVE中所获取的分区设置计算出分区，将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值，依据该key值，从文件写入管理模块中获取对应的文件句柄，将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号：CN109885642A
公开(公告)日：2019-06-14
申请号：CN201910119254.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。
-
公开(公告)号：CN108519908A
公开(公告)日：2018-09-11
申请号：CN201810158916.8
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48
Abstract: 本发明公开了一种任务动态管理方法和装置。该方法在客户端侧执行，包括：接收用户提交的元数据操作信息；根据所述元数据操作信息，在实时监听器中操作元数据，并将操作后的所述元数据缓存在实时监听器中；其中，所述实时监听器以分布式协调服务zookeeper搭建，所述元数据为树形结构，所述树形结构的一级节点为流数据节点，二级节点为任务节点。该方法在任务控制器执行，包括：以Storm常驻任务的方式，预先占用中央处理器CPU资源；监听实时监听器中缓存的元数据；所述实时监听器以zookeeper搭建；如果所述实时监听器中缓存的元数据发生变化，则根据发送变化的所述元数据，更新已缓存的任务逻辑。通过本发明可以缩短任务生效时间，降低资源消耗。
-
公开(公告)号：CN109885453B
公开(公告)日：2023-02-28
申请号：CN201910119278.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于流数据处理的大数据平台监控系统，所述系统包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。
-
Patent Agency Ranking
公开(公告)号：CN109901948B
公开(公告)日：2022-04-12
申请号：CN201910119253.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统，所述系统包括：任务调度器，位于MPP集群Server服务器端，用于对于主、备集群分别执行不同的调度任务；任务执行器，位于MPP集群的NodeAgent节点代理端，为MPP集群节点代理层的执行线程，用于接收任务调度器分配的调度任务并执行；消息总线模块，用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能；DNS代理服务模块，用于主、备MPP集群对外提供服务的接口，并通过更新实现集群主、备之间的自动切换。
-
公开(公告)号：CN108256115B
公开(公告)日：2022-02-25
申请号：CN201810142899.9
申请日：2018-02-11
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/182 , G06F16/172 , G06F16/14
-
公开(公告)号：CN109918229B
公开(公告)日：2021-03-30
申请号：CN201910119274.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置，方法包括：加载工具直连第一个副本，进行数据实时入库加载，并以事务为单位构建同步记录；复制流程调度器加载元数据，检查节点状态，构造多个副本的拓扑关系，启动各个节点上的复制执行器，将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器；复制执行器从消息总线获取复制处理消息，解析拓扑信息，查找到数据源，通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表，检查增量数据，如果没有，则循环等待，否则执行下步；复制执行器计算增量数据的同步范围信息，读取给定范围的数据，加载至本身节点上的副本，并构造本次数据复制的同步记录，执行步骤3。
-
公开(公告)号：CN106649893B
公开(公告)日：2020-10-20
申请号：CN201510706040.2
申请日：2015-10-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及一种识别网络图中关键节点的分布式方法，包括：采用点切分方式将网络图切分到n台机器上；选择工作节点，分别对所述工作节点的消息和所述工作节点的后继节点的消息进行初始化；更新所述工作节点的后继节点的消息；确定所述工作节点的后继节点的单点依赖；根据网络图中节点的单点依赖确定节点的桥接中心度，本发明采用Graphlab框架来实现，不仅支持基于消息的编程模型，而且支持共享内存风格的“收集‑更新‑扩散”模型，能够获得更快的运行速度，并且随着集群规模的扩大，可以支持在更大规模的图中计算关键节点。
-
公开(公告)号：CN109901948A
公开(公告)日：2019-06-18
申请号：CN201910119253.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统，所述系统包括：任务调度器，位于MPP集群Server服务器端，用于对于主、备集群分别执行不同的调度任务；任务执行器，位于MPP集群的NodeAgent节点代理端，为MPP集群节点代理层的执行线程，用于接收任务调度器分配的调度任务并执行；消息总线模块，用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能；DNS代理服务模块，用于主、备MPP集群对外提供服务的接口，并通过更新实现集群主、备之间的自动切换。
-
-
-
-
-
-
-
-
-
Search Results
36
records
(took 0.036 seconds)
