-
公开(公告)号:CN113271220A
公开(公告)日:2021-08-17
申请号:CN202110340162.X
申请日:2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN112241365A
公开(公告)日:2021-01-19
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN107729177A
公开(公告)日:2018-02-23
申请号:CN201710841028.1
申请日:2017-09-18
Applicant: 中国科学院信息工程研究所
CPC classification number: G06F11/1464 , G06F3/0647 , G06F3/067 , H04L67/1095
Abstract: 本发明涉及一种基于云存储的备份数据存储管理方法、装置和系统。备份控制端进行备份作业、恢复作业、迁移作业的管理和调度;备份客户端执行备份作业时将数据复制到本地存储端,执行恢复作业时接收本地存储端或云储存端发送的数据;本地存储端执行备份作业时接收来自备份客户端的数据并将其写入本地存储介质;执行迁移作业时将本地存储介质内的数据迁移到云存储端,执行恢复任务时将本地存储介质内的数据复制到备份客户端;云存储端执行迁移任务时接收来自本地存储端的迁移数据,执行恢复任务时将云存储设备内的数据复制到备份客户端。本发明充分结合了本地存储的高效性与云存储的可靠性,在提升备份效率的同时实现了备份数据云存储的目标。
-
-