-
公开(公告)号：CN108536808B
公开(公告)日：2022-04-29
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN108536808A
公开(公告)日：2018-09-14
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN109902101B
公开(公告)日：2021-04-02
申请号：CN201910122512.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。
-
公开(公告)号：CN108616498A
公开(公告)日：2018-10-02
申请号：CN201810158886.0
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种web访问异常检测方法和装置。该方法包括：根据多个访问日志，训练异常检测模型；其中，在所述多个访问日志中包括正常访问日志和异常访问日志；接收用户设备发送的超文本传输协议http请求；通过所述异常检测模型识别所述http请求是否为异常请求；如果所述http请求为异常请求，则拦截所述http请求。本发明实施例可以应用于web安全和机器学习领域，通过对大量正常样本和异常样本进行机器学习，可以用于web安全领域的访问异常检测和拦截，可以解决传统waf防火墙对入侵访问进行拦截的方法维护成本高、灵活性差、对未知异常没有防护能力的技术问题。
-
公开(公告)号：CN108536728A
公开(公告)日：2018-09-14
申请号：CN201810158917.2
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据查询方法和装置。该方法包括：获取查询计划；确定所述查询计划中包含的数据源信息；根据所述数据源信息，对所述查询计划执行转义操作；根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。本发明通过将查询计划进行转义操作，将查询计划转义为需要查询的数据库能够识别的语言，通过这种操作，可以使用一条查询计划同时查询不同数据库，实现跨平台联合查询，提升了数据查询效率，打通了不同数据库之间的技术壁垒，降低了开发人员的学习门槛。
-
Patent Agency Ranking
公开(公告)号：CN114760216B
公开(公告)日：2023-12-05
申请号：CN202210377822.6
申请日：2022-04-12
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本申请的实施例公开了一种扫描探测事件确定方法、装置及电子设备，涉及网络安全技术领域，为提高扫描探测事件的检测效率而发明。所述方法，包括：获取待分析流量中的报文；提取所述待分析流量中的报文中各条报文的源IP地址；根据所述各条报文中的源IP地址，对从所述待分析流量中获取的各条报文进行分类；同一类别下的各条报文对应的源IP地址相同；基于预设的扫描探测检测规则，对第一类别下的各条报文进行检测，确定是否发生扫描探测事件。本申请适用于扫描探测事件的检测。(56)对比文件Digital Ecosystems and BusinessIntelligence Institute, CurtinUniversity, Perth, Australia;School ofSoftware, Faculty of Engineering andInformation Technology, University ofTechnology, Sydney, Australia;The People's University of Bangladesh, Dhaka,Bangladesh.A Methodology to Counter DoSAttacks in Mobile IP Communication.MobileInformation Systems.2015,全文.Qiao-Hong, He;Qun, Fang;Wen-Bin, Du;Yan-Zhen, Huang;Zhao-Lun, Fang.Anautomated electrokinetic continuoussample introduction system formicrofluidic chip-based capillaryelectrophoresis..The Analyst.2005,第130卷全文.
-
公开(公告)号：CN109885316B
公开(公告)日：2023-05-09
申请号：CN201910119277.9
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs‑HBase部署方法，所述方法包括：计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。
-
公开(公告)号：CN109902126B
公开(公告)日：2021-12-07
申请号：CN201910119268.X
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法，所述方法包括：数据源模块，用于接收数据，对数据进行预备分类，按照数据的来源和数据头上所携带的配置信息进行预处理，得到数据所需要写入的对应的HIVE表，将映射关系放入到数据头中，并将数据放入到数据通道；数据通道，用于作为所述数据源模块和所述输出接口模块之间的数据通道；输出接口模块，用于从数据通道中获取数据，对数据反序列化，进行进一步的校验，依据加载系统在HIVE中所获取的分区设置计算出分区，将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值，依据该key值，从文件写入管理模块中获取对应的文件句柄，将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号：CN113079034A
公开(公告)日：2021-07-06
申请号：CN202110261760.8
申请日：2021-03-10
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种互联网基础资源及其关系模型、及模型的构建、应用方法。互联网基础资源及其关系模型构建方法，包括：将相同类型的互联网基础资源以集合的形式表示，以获得多个集合；获取每个互联网基础资源的属性以及各个互联网基础资源之间的关系；基于多个集合、每个互联网基础资源的属性以及各个互联网基础资源之间的关系，构建互联网基础资源及其关系模型。本发明为互联网基础资源提供一种描述方法，包括资源、资源之间的关系以及资源属性的定义，并在此基础上提供多个互联网资源之间的操作，用以支持对互联网上常用行为进行研究的支撑。
-
公开(公告)号：CN109902101A
公开(公告)日：2019-06-18
申请号：CN201910122512.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.043 seconds)
