一种基于海量日志的数据中心任务资源预测方法

    公开(公告)号:CN116089215A

    公开(公告)日:2023-05-09

    申请号:CN202310021203.8

    申请日:2023-01-06

    Abstract: 本发明公开了一种基于海量日志的数据中心任务资源预测方法,包括如下步骤:I、初始化、II、对离线批处理任务进行资源使用相关特征选取;III、任务聚类分析;IV、构建任务类并行组合关系的数据表征模型;V、任务资源使用预测模型的构建;VI、对任务的平均资源使用进行预测和估计。本发明基于卷积神经网络和长短期记忆神经网络,根据数据中心离线批处理任务自身的资源使用和计算行为以及在执行过程中受到的来自动态并行的其他任务的资源竞争行为构建和训练模型,可以预测出数据中心任意任务的平均资源使用,对任务平均资源使用的预估和数据中心任务调度行为提供建议和指导方案。

    一种基于HDFS的海量小文件存储优化方法

    公开(公告)号:CN110018997B

    公开(公告)日:2021-07-23

    申请号:CN201910175055.9

    申请日:2019-03-08

    Abstract: 一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

    一种数据中心日志缺失数据恢复方法

    公开(公告)号:CN109857593B

    公开(公告)日:2020-08-28

    申请号:CN201910056129.7

    申请日:2019-01-21

    Abstract: 本发明公开一种数据中心日志中缺失数据的恢复方法,首先使用相关性分析方法发掘数据中心日志中不同数据属性的相关性,选取最优数据属性子集,并使用一个两阶段离散化步长优化算法对数据进行离散化优化;然后将选取的最优数据属性子集作为张量的属性,构建一个稀疏张量;最后使用基于张量分解的张量补全方法,对稀疏张量进行补全,得到一个稠密张量;将该稠密张量与原始不完整日志数据结合,得到一个完整的日志数据集。

    一种面向Spark时间窗口数据分析的缓存数据预取方法

    公开(公告)号:CN110287010A

    公开(公告)日:2019-09-27

    申请号:CN201910507343.X

    申请日:2019-06-12

    Abstract: 本发明公开了一种面向Spark时间窗口数据分析的缓存数据预取方法,该方法分为6个步骤:初始化、判断预取时机、计算预取数据规模、确定预取数据放置位置、判断是否结束预取和结束。本发明依据时间窗口数据处理需求,以时间窗口为序,分段将时间窗口所需处理的RDD数据读入Spark缓存空间,并将已处理的RDD数据移出缓存,从而保障在缓存空间有限的情况下,每一个时间窗口需要处理的RDD数据均被成功缓存于内存空间,提升应用的执行效率。

    一种基于HDFS的海量小文件存储优化方法

    公开(公告)号:CN110018997A

    公开(公告)日:2019-07-16

    申请号:CN201910175055.9

    申请日:2019-03-08

    Abstract: 一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

    一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法

    公开(公告)号:CN104951372A

    公开(公告)日:2015-09-30

    申请号:CN201510335305.2

    申请日:2015-06-16

    Abstract: 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法,分配方法分为五个步骤,初始化、任务内存资源使用预测、任务内存资源释放、任务内存资源追加和回溯。本方法针对Map任务和Reduce任务在运行过程中内存资源使用量具有明显波动性的特征,根据Map任务和Reduce任务运行过程中的内存使用量历史记录,采用线性回归和t检验法,统计任务内存使用规律,预测任务后续运行中需要使用的内存量,并根据任务内存使用预测量,动态追加或减少正在运行的Map任务和Reduce任务的内存分配量,从而有效提高Map/Reduce平台内存资源的使用效率,提升Map/Reduce作业的执行效率。

    一种第三方软件可信构建方法

    公开(公告)号:CN104318163A

    公开(公告)日:2015-01-28

    申请号:CN201410584891.X

    申请日:2014-10-27

    Inventor: 詹静 蔡磊 梁毅

    CPC classification number: G06F21/57

    Abstract: 本发明属于信息安全和可信计算技术领域,涉及一种第三方软件可信构建方法。所述方法包括:根据软件可信构建安全需求,生成基于XACML语言的可信软件策略语法语义;用户根据本发明提供的可信软件策略语法语义、参考软件开发商提供的参数扩展策略和自定义策略,根据自身安全需求,生成第三方软件的可信软件策略库;使用可信软件生成工具自动构建可信软件。本发明灵活性高;可对细粒度的软件行为进行监控,通过可信软件策略生成监控代码,实现对软件行为的有效控制。本发明提出的可信软件策略基于XACML语言描述用户的监控需求,具有良好的通用性和可扩展性;基于可信软件策略可自动生成监控代码,增强了用户对第三方软件安全性的影响力。

    一种对于社交网络中错误信息影响最小化的动态方法

    公开(公告)号:CN120011650A

    公开(公告)日:2025-05-16

    申请号:CN202411917384.3

    申请日:2024-12-24

    Abstract: 本发明提出了一种对于社交网络中错误信息影响最小化的动态方法,包括以下步骤:1、根据真实的数据集构建用户社交网络图,以及信息集。2、确定影响用户注意力值的因素,主要包括用户自身对该信息的兴趣度、用户之间的偏好相似度,用户之间的关系强度,以及相对影响力;3、制定信息发送路径的探索策略。4、为不同的路径动态匹配有效的信息。根据目标用户注意力空间的情况,选择要传播的信息,并加入厌倦因子来动态调整路径每轮匹配的信息。5、通过多轮次信息传播,改变目标用户的注意力,最终将错误信息从其注意力空间中移除。本发明在IC独立级联扩散模型下进行测试,证明了有效性。

    一种基于周期性特征分析的在线负载资源预测方法

    公开(公告)号:CN110297715B

    公开(公告)日:2021-09-14

    申请号:CN201910592018.8

    申请日:2019-07-02

    Abstract: 本发明公开了一种基于周期性特征分析的在线负载资源预测方法,在线负载资源预测方法分为三个步骤,资源序列周期识别、子序列分类、在线负载资源预测方法构建。本方法针对在线负载在运行过程中资源使用量具有明显的周期性特征,收集在线负载资源序列样本,对资源序列进行周期识别以及资源序列划分;其次,对于划分得到的子序列进行相似度计算并分类;然后,采用加权方式计算在线负载资源需求进行预测,本方法实现了基于周期性的在线负载资源预测。

Patent Agency Ranking