-
公开(公告)号：CN108519908A
公开(公告)日：2018-09-11
申请号：CN201810158916.8
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48
Abstract: 本发明公开了一种任务动态管理方法和装置。该方法在客户端侧执行，包括：接收用户提交的元数据操作信息；根据所述元数据操作信息，在实时监听器中操作元数据，并将操作后的所述元数据缓存在实时监听器中；其中，所述实时监听器以分布式协调服务zookeeper搭建，所述元数据为树形结构，所述树形结构的一级节点为流数据节点，二级节点为任务节点。该方法在任务控制器执行，包括：以Storm常驻任务的方式，预先占用中央处理器CPU资源；监听实时监听器中缓存的元数据；所述实时监听器以zookeeper搭建；如果所述实时监听器中缓存的元数据发生变化，则根据发送变化的所述元数据，更新已缓存的任务逻辑。通过本发明可以缩短任务生效时间，降低资源消耗。
-
公开(公告)号：CN109857535A
公开(公告)日：2019-06-07
申请号：CN201910122390.2
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置，所述方法包括：SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列；接收用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置；接收用户提交的检索SQL，将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中；通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号：CN108614862A
公开(公告)日：2018-10-02
申请号：CN201810265932.7
申请日：2018-03-28
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及一种基于流计算引擎的实时标签处理方法和装置，所述方法包括:步骤1、根据标签处理任务的需求设定标签处理任务类型；步骤2、根据所设定的标签处理任务类型，配置数据源信息、标签处理信息和数据输出信息；步骤3、根据所配置的数据源信息、标签处理信息和数据输出信息，生成标签处理任务配置元数据；步骤4、根据所述标签处理任务配置元数据，创建并执行所述标签处理任务。本发明通过简单配置自动化构建数据标签处理的任务流程。在标签处理任务中，根据元数据定义及标签处理规则定义进行标签处理，实现对多源数据进行标签处理，使数据标签处理过程规范化，提高了大数据实时标签处理方法的通用性和效率。
-
公开(公告)号：CN107168984A
公开(公告)日：2017-09-15
申请号：CN201710165255.7
申请日：2017-03-20
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30424
Abstract: 本发明涉及一种基于多文件格式自动识别的跨地域关联统计方法，属于大数据检索分析领域。该方法通过统一SQL查询入口接收SQL查询请求；然后对SQL查询请求进行解析，以识别查询的不同文件格式；然后全局节点将解析成功后的查询请求发送到对应的分节点；然后各分节点进行相应的查询操作，并将查询结果回传给全局节点；最后全局节点对各分节点回传的数据进行关联统计并输出统计结果。本发明可以应用在离线或在线数据统计场景中，能够实现多种文件格式的自动识别，突破了地域限制，能够将不同数据中心的数据进行关联统计。
-
公开(公告)号：CN107066546A
公开(公告)日：2017-08-18
申请号：CN201710165501.9
申请日：2017-03-20
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明涉及一种基于MPP引擎的跨数据中心快速查询方法和系统，属于大数据检索分析领域，可应用于实时系统或离线备份系统。该方法将不同MPP引擎中的数据进行统一标记并存储到元数据中；全局中心节点接收查询请求并对其进行语法解析，然后分发送到对应的数据分中心节点；各数据分中心节点通过元数据的相应MPP引擎进行查询，并将数据传输给全局中心节点；全局中心节点利用MPP引擎对数据分中心节点返回的数据进行快速查询，并输出查询结果。本发明能够实现不同数据中心数据的联合查询，兼容多种MPP引擎，充分利用不同存储模式的特点优化查询，支持多种方式导出查询结果，便于实现上层不同应用对结果数据再分析的不同要求。
-
Patent Agency Ranking
公开(公告)号：CN118377586A
公开(公告)日：2024-07-23
申请号：CN202410394444.1
申请日：2024-04-02
Applicant: 国家计算机网络与信息安全管理中心 , 长安通信科技有限责任公司 , 中国科学院软件研究所
IPC: G06F9/46 , G06F9/50 , G06F16/2453
Abstract: 本发明涉及大数据技术领域，公开了一种面向SQL任务进行流量合并和计算合并的优化方法，首先在Client端一次提交多个任务，Server端执行Client提交的多个任务；在Server端对相同类型的多个实时SQL任务，对其进行解析出Source、Rule、Sink的标注结构，具体通过Json语法解析或SQL语法解析Rule参数，解析出SQL语句，输入输出信息和优化选项；解析出的多个实时SQL语句的信息均为SELECT WHERE格式，多个实时SQL任务语句中的WHERE条件部分包含的表达式均为可以进行优化的表达式然后对Source部分进行判断；判断多个实时SQL的Source的Topic是否相同；是则对多个SQL任务进行合并。本发明对于配置了相同计算资源的Server，仅考虑计算资源的情况下，可以实现支撑实时SQL任务数的多倍提升。
-
公开(公告)号：CN106649462A
公开(公告)日：2017-05-10
申请号：CN201610849788.2
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。
-
公开(公告)号：CN106446168A
公开(公告)日：2017-02-22
申请号：CN201610849787.8
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。
-
公开(公告)号：CN119544333A
公开(公告)日：2025-02-28
申请号：CN202411725602.3
申请日：2024-11-28
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L9/40
Abstract: 本发明涉及数据检测技术领域，公开了一种基于下载链接的僵尸网络恶意软件检测方法，首先进行原始流量解析，捕获环境中的pcap包并提取出pcap包中每个帧的IP、端口和url信息；对环境中的pcap包的数据进行数据集整理；进行训练检测，首先进行构建邻接矩阵，然后进行参数初始化；对初始化的数据再进行矩阵运算，然后再进行多通道训练，并进行图卷积层输入，训练出识别模型；对训练出的识别模型进行模型训练调优；将训练好的模型应用在基于下载链接的数据进行僵尸网络恶意软件的检测。本发明检测方法设计灵活，能够适应不断变化的恶意软件攻击手段和模式。通过动态调整检测策略和参数，本方法能够迅速响应和适应新出现的威胁，保持高效的检测能力。
-
公开(公告)号：CN118377586B
公开(公告)日：2024-11-29
申请号：CN202410394444.1
申请日：2024-04-02
Applicant: 国家计算机网络与信息安全管理中心 , 长安通信科技有限责任公司 , 中国科学院软件研究所
IPC: G06F9/46 , G06F9/50 , G06F16/2453
Abstract: 本发明涉及大数据技术领域，公开了一种面向SQL任务进行流量合并和计算合并的优化方法，首先在Client端一次提交多个任务，Server端执行Client提交的多个任务；在Server端对相同类型的多个实时SQL任务，对其进行解析出Source、Rule、Sink的标注结构，具体通过Json语法解析或SQL语法解析Rule参数，解析出SQL语句，输入输出信息和优化选项；解析出的多个实时SQL语句的信息均为SELECT WHERE格式，多个实时SQL任务语句中的WHERE条件部分包含的表达式均为可以进行优化的表达式然后对Source部分进行判断；判断多个实时SQL的Source的Topic是否相同；是则对多个SQL任务进行合并。本发明对于配置了相同计算资源的Server，仅考虑计算资源的情况下，可以实现支撑实时SQL任务数的多倍提升。
-
-
-
-
-
-
-
-
-
Search Results
55
records
(took 0.11 seconds)
