可动态配置的大数据分析系统
    31.
    发明公开

    公开(公告)号:CN110222923A

    公开(公告)日:2019-09-10

    申请号:CN201910332409.6

    申请日:2015-09-11

    IPC分类号: G06Q10/06 G06F16/2458

    摘要: 本发明公开了一种可动态配置的大数据分析系统,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。

    一种健身跑运动方案生成方法

    公开(公告)号:CN103942445A

    公开(公告)日:2014-07-23

    申请号:CN201410178014.2

    申请日:2014-04-30

    IPC分类号: G06F19/00

    摘要: 本发明涉及一种健身跑运动方案生成方法,包括以下步骤:S1.采集运动者健身跑过程中的速度和心率数据;S2.基于步骤S1采集的速度和心率数据,运用遗传算法对运动者的健身跑运动模型进行参数整定,建立运动者的健身跑运动模型;S3.基于步骤S2建立的健身跑运动模型,以及给定运动时间和安全有效心率区间参数,以在给定运动时间的健身跑过程中,心率落在安全有效心率区间内的时长最长为优化目标,建立运动者的健身跑最优运动方案。该方法可以为运动者建立个性化的健身跑最优运动方案,从而为指导运动者进行安全、有效的健身跑提供了有用的技术手段。

    基于最大信息系数的大数据平台在线异常检测方法

    公开(公告)号:CN107493277B

    公开(公告)日:2020-06-16

    申请号:CN201710681720.2

    申请日:2017-08-10

    IPC分类号: H04L29/06 H04L12/26 H04L12/24

    摘要: 本发明涉及一种基于最大信息系数的大数据平台在线异常检测方法,该方法采用Spark Streaming滑动窗口机制对访问日志进行统计分析,构建用户活跃度模型,进而计算出相邻时间窗口用户活跃度序列的最大信息系数,通过比较最大信息系数与设定的阈值,判定当前时间是否出现网络异常状况。该方法有利于快速、准确且近实时地发现在线场景下的网络异常,实现了大数据平台异常检测分析系统的近实时异常检测功能。

    异构数据集基于MIC的字段值优先连接方法

    公开(公告)号:CN106202486B

    公开(公告)日:2019-07-09

    申请号:CN201610569447.X

    申请日:2016-07-19

    IPC分类号: G06F16/90

    摘要: 本发明涉及一种异构数据集基于MIC字段值优先连接方法,包括以下步骤:拟合异构数据集SE分布的参数;计算字段A、B之间的MIC系数;生成字段A、B中所有值分别出现次数构成的集合StA和StB;建立集合StA、StB对应的累积分布函数PA(x)、PB(y);判断记录总条数l是否为0,是则转最后一步,否则转下一步;根据PA(x)计算得出字段A中对应字段值Ax;基于字段值优先连接模型计算得出字段B中对应字段值By;保存{Ax,By}作为一条记录;更新总条数l=l‑1,并返回步骤5;完成异构数据的所有连接。该方法有利于逼真模拟异构数据集,使连接的数据集保持合理的字段间的均衡性以及节点间的相似性。

    一种基于用户兴趣迁移的大数据集仿真生成方法

    公开(公告)号:CN105912456B

    公开(公告)日:2019-01-22

    申请号:CN201610305500.5

    申请日:2016-05-10

    IPC分类号: G06F11/34 G06F16/18

    摘要: 本发明涉及一种基于用户兴趣迁移的大数据集仿真生成方法,包括以下步骤:生成用户集合和Web文件集合,然后关联用户和Web文件形成原始请求序列R,将原始请求序列R变成由多个用户请求序列构成的用户集合,每个用户形成一个用户请求序列Ru,遍历每一个用户u,并基于用户兴趣的影响,将用户请求序列Ru重新组合为新的序列Ru’。该方法能够提高自相似性,从而较好的模拟真实Web日志。

    一种基于非时间属性关联的数据逼真生成方法

    公开(公告)号:CN106940731A

    公开(公告)日:2017-07-11

    申请号:CN201710204049.2

    申请日:2017-03-30

    IPC分类号: G06F17/30

    CPC分类号: G06F16/22

    摘要: 本发明涉及一种基于非时间属性关联的数据逼真生成方法,首先从数据集中提取评价主体和被评价主体的关键属性,进行两重频数统计,得到基于关键属性的4个关系对;然后计算各关系对的MIC值,并采用SE分布对各关系对进行关系拟合;接着通过拟合的关系得到评价主体的属性特征与其规模的关系,以及被评价主体的属性特征与其规模的关系,并将这两个属性特征通过活跃度总和等于流行度总和建立关联,得到非时间属性关联模型;最后,基于得到的非时间属性关联模型,通过模型参数构建约束,生成带约束的二维矩阵以及二维矩阵填充方式,逼真生成数据集。该方法生成的数据能够有效地模拟真实数据集的数据特征。

    一种基于规则的软件体系结构层性能演化优化方法

    公开(公告)号:CN104268278B

    公开(公告)日:2017-06-30

    申请号:CN201410546025.1

    申请日:2014-10-16

    IPC分类号: G06F17/30 G06N3/12

    摘要: 本发明涉及一种基于规则的软件体系结构层性能演化优化方法,采用遗传算法进行软件体系结构层性能演化优化:A.进行种群初始化;B.输入个体编码(规则号序列)、初始软件体系结构和规则使用历史表,计算种群中每个个体的适应度值;C.采用基于精英保留的轮盘赌选择策略进行选择操作;D.采用带约束检查机制的一点交叉进行交叉操作;E.采用带约束检查机制的一点变异进行变异操作;F.判断是否满足终止条件,是则转步骤G,否则基于步骤E得到的下一代种群,返回步骤B进行下一次迭代;步骤G.将最优个体中出现的0及没有改进效果的规则号依次删除,获得最优改进方案并输出。该方法可降低软件体系结构层性能的优化成本,提高优化质量。

    一种健身跑运动方案生成方法

    公开(公告)号:CN103942445B

    公开(公告)日:2017-02-15

    申请号:CN201410178014.2

    申请日:2014-04-30

    IPC分类号: G06F19/00

    摘要: 本发明涉及一种健身跑运动方案生成方法,包括以下步骤:S1. 采集运动者健身跑过程中的速度和心率数据;S2. 基于步骤S1采集的速度和心率数据,运用遗传算法对运动者的健身跑运动模型进行参数整定,建立运动者的健身跑运动模型;S3. 基于步骤S2建立的健身跑运动模型,以及给定运动时间和安全有效心率区间参数,以在给定运动时间的健身跑过程中,心率落在安全有效心率区间内的时长最长为优化目标,建立运动者的健身跑最优运动方案。该方法可以为运动者建立个性化的健身跑最优运动方案,从而为指导运动者进行安全、有效的健身跑提供了有用的技术手段。

    异构数据集基于MIC的字段值优先连接方法

    公开(公告)号:CN106202486A

    公开(公告)日:2016-12-07

    申请号:CN201610569447.X

    申请日:2016-07-19

    IPC分类号: G06F17/30

    CPC分类号: G06F16/90

    摘要: 本发明涉及一种异构数据集基于MIC字段值优先连接方法,包括以下步骤:拟合异构数据集SE分布的参数;计算字段A、B之间的MIC系数;生成字段A、B中所有值分别出现次数构成的集合StA和StB;建立集合StA、StB对应的累积分布函数PA(x)、PB(y);判断记录总条数l是否为0,是则转最后一步,否则转下一步;根据PA(x)计算得出字段A中对应字段值Ax;基于字段值优先连接模型计算得出字段B中对应字段值By;保存{Ax,By}作为一条记录;更新总条数l=l-1,并返回步骤5;完成异构数据的所有连接。该方法有利于逼真模拟异构数据集,使连接的数据集保持合理的字段间的均衡性以及节点间的相似性。