-
公开(公告)号：CN112241365B
公开(公告)日：2022-09-30
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
公开(公告)号：CN109815219B
公开(公告)日：2021-11-23
申请号：CN201910119266.0
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种支持多数据库引擎的数据生命周期管理的实现方法，所述方法包括：通过Hive MetaStore服务，创建具有生命周期的依赖Hive元数据的Hive表、HBase表和ElasticSearch表；HBase、ElasticSearch集群对SSD盘和HDD盘进行存储；定期调用生命周期管理服务，读取Hive MetaStore服务中表元数据的生命周期信息和分区信息，计算是否存在过期的分区数据，如果存在，根据表元数据信息判断表的类型，依据不同表数据存储类型，调用相应的数据生命周期管理服务，根据表元数据中规则，自动对过期的数据进行删除或迁移。
-
公开(公告)号：CN113271220A
公开(公告)日：2021-08-17
申请号：CN202110340162.X
申请日：2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括：采集大数据平台中各个组件的配置文件和日志文件；根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证，实现高精度的组件识别，结合凝练的安全审计模型，实现大数据平台整体数据流转情况的采集，进而支持业务流程中不同环节的数据使用情况审计，并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号：CN109857535B
公开(公告)日：2021-06-11
申请号：CN201910122390.2
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置，所述方法包括：SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列；接收用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置；接收用户提交的检索SQL，将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中；通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号：CN109816544B
公开(公告)日：2021-06-11
申请号：CN201910119279.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06Q50/00
Abstract: 本发明公开了一种基于接触概率的信息传播模型实现方法及装置，所述方法包括：将微博用户节点划分为四类节点，其中，所述四类节点具体包括：从未接触过信息的S节点、接触到信息但还未转发的C节点、接触到信息决定转发使自己具备传播能力的I节点、以及接触到信息选择忽略的R节点；确定所述四类节点之间的状态转换规则，并基于所述状态转换规则确定信息传播模型。
-
Patent Agency Ranking
公开(公告)号：CN112241365A
公开(公告)日：2021-01-19
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
公开(公告)号：CN109902126A
公开(公告)日：2019-06-18
申请号：CN201910119268.X
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法，所述方法包括：数据源模块，用于接收数据，对数据进行预备分类，按照数据的来源和数据头上所携带的配置信息进行预处理，得到数据所需要写入的对应的HIVE表，将映射关系放入到数据头中，并将数据放入到数据通道；数据通道，用于作为所述数据源模块和所述输出接口模块之间的数据通道；输出接口模块，用于从数据通道中获取数据，对数据反序列化，进行进一步的校验，依据加载系统在HIVE中所获取的分区设置计算出分区，将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值，依据该key值，从文件写入管理模块中获取对应的文件句柄，将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号：CN109885642A
公开(公告)日：2019-06-14
申请号：CN201910119254.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。
-
公开(公告)号：CN108519908A
公开(公告)日：2018-09-11
申请号：CN201810158916.8
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48
Abstract: 本发明公开了一种任务动态管理方法和装置。该方法在客户端侧执行，包括：接收用户提交的元数据操作信息；根据所述元数据操作信息，在实时监听器中操作元数据，并将操作后的所述元数据缓存在实时监听器中；其中，所述实时监听器以分布式协调服务zookeeper搭建，所述元数据为树形结构，所述树形结构的一级节点为流数据节点，二级节点为任务节点。该方法在任务控制器执行，包括：以Storm常驻任务的方式，预先占用中央处理器CPU资源；监听实时监听器中缓存的元数据；所述实时监听器以zookeeper搭建；如果所述实时监听器中缓存的元数据发生变化，则根据发送变化的所述元数据，更新已缓存的任务逻辑。通过本发明可以缩短任务生效时间，降低资源消耗。
-
公开(公告)号：CN113079034B
公开(公告)日：2022-12-20
申请号：CN202110261760.8
申请日：2021-03-10
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L41/14 , H04L61/4511 , H04L9/40
Abstract: 本发明公开了一种互联网基础资源及其关系模型、及模型的构建、应用方法。互联网基础资源及其关系模型构建方法，包括：将相同类型的互联网基础资源以集合的形式表示，以获得多个集合；获取每个互联网基础资源的属性以及各个互联网基础资源之间的关系；基于多个集合、每个互联网基础资源的属性以及各个互联网基础资源之间的关系，构建互联网基础资源及其关系模型。本发明为互联网基础资源提供一种描述方法，包括资源、资源之间的关系以及资源属性的定义，并在此基础上提供多个互联网资源之间的操作，用以支持对互联网上常用行为进行研究的支撑。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.045 seconds)
