一种基于位图数据结构的数据分析方法及装置

    公开(公告)号:CN107622121A

    公开(公告)日:2018-01-23

    申请号:CN201710872848.7

    申请日:2017-09-25

    Abstract: 本发明实施例提供了一种基于位图数据结构的数据分析方法及装置,该方法包括:获得主节点分配的第一事务子集合;获得总数目及排序;根据排序确定每一目标项目的位图数据;统计每一目标项目的位图数据中第一数据与总数目之间的比例,根据统计的比例确定目标项目中的频繁1项集;将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据,广播至主节点和其他分布式子节点;接收统计项目和统计项目的位图数据;基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据,计算目标项集是否为频繁项集;若目标项集为频繁项集,确定目标项集中各个项目之间的关联规则。这样,可以快速地得到关联规则以及项目之间的关联关系。

    一种基于大数据的并行方差分析方法及装置

    公开(公告)号:CN107229600A

    公开(公告)日:2017-10-03

    申请号:CN201710398191.5

    申请日:2017-05-31

    Abstract: 本发明实施例提供了一种基于大数据的并行方差分析方法及装置,该方法包括:利用分布式文件系统HDFS读取试验数据,并存储所述试验数据,所述试验数据为:行为m、列为p的矩阵,矩阵的每个元素为试验数据Xijx,其中,创建一个程序初始运行环境;根据所有试验数据,计算统计量F;加载F分布表,并查询F分布表,获得Fα值,获取信度阈值α=s0和α=s1,利用F分布表,根据信度阈值α=s0和α=s1在组间的自由度和组内的自由度对应寻找Fs0和Fs1;比较Fs0、Fs1和F,若F

    基于云计算的社会网络划分方法及系统

    公开(公告)号:CN101866355A

    公开(公告)日:2010-10-20

    申请号:CN201010198332.7

    申请日:2010-06-11

    Abstract: 本发明提供一种基于云计算的社会网络划分方法及系统,该方法包括:求出社会网络中的极大团;根据极大团之间共有点所占相应极大团的比重,将所述极大团进行归并;将所述极大团归并得到的社区作为新的点后,用边连接相邻点,得到新的社会网络。根据极大团对社会网络进行划分,将归并后的极大团作为新的点得到新的社会网络,新的社会网络可以准确的反映分析需求,提高社会网络的利用效率;同时,采用云计算的方式求出极大团,可以提高社会网络的划分效率。

    一种基于大数据的并行方差分析方法及装置

    公开(公告)号:CN107229600B

    公开(公告)日:2020-06-23

    申请号:CN201710398191.5

    申请日:2017-05-31

    Abstract: 本发明实施例提供了一种基于大数据的并行方差分析方法及装置,该方法包括:利用分布式文件系统HDFS读取试验数据,并存储所述试验数据,所述试验数据为:行为m、列为p的矩阵,矩阵的每个元素为试验数据Xijx,其中,创建一个程序初始运行环境;根据所有试验数据,计算统计量F;加载F分布表,并查询F分布表,获得Fα值,获取信度阈值α=s0和α=s1,利用F分布表,根据信度阈值α=s0和α=s1在组间的自由度和组内的自由度对应寻找Fs0和Fs1;比较Fs0、Fs1和F,若F

    一种物联网复杂事件处理方法

    公开(公告)号:CN105138385A

    公开(公告)日:2015-12-09

    申请号:CN201510527518.5

    申请日:2015-08-25

    Abstract: 本发明公开了一种物联网复杂事件处理方法,本发明的方法将物联网系统数据看作不同类型的事件,通过分析事件间的关系如:成员关系、时间关系以及因果关系,包含关系等,建立不同的事件关系序列库,即规则库,利用过滤、关联、聚合等技术,最终由简单事件产生高级事件或商业流程。本发明实现了完整的复杂事件处理生命周期模块,涵盖复杂事件定义语言、复杂事件处理语言、处理规则引擎、事件预处理、事件检测、事件派发等,并且引入规则引擎作为事件检测和规则匹配的核心。与现有技术相比,本发明不局限于复杂事件处理的某些特定领域,具有普适性,支持在内存中对海量事件的处理,提高实时性,存储优化,提高事件识别准确率。

    一种基于位图数据结构的数据分析方法及装置

    公开(公告)号:CN107622121B

    公开(公告)日:2020-06-23

    申请号:CN201710872848.7

    申请日:2017-09-25

    Abstract: 本发明实施例提供了一种基于位图数据结构的数据分析方法及装置,该方法包括:获得主节点分配的第一事务子集合;获得总数目及排序;根据排序确定每一目标项目的位图数据;统计每一目标项目的位图数据中第一数据与总数目之间的比例,根据统计的比例确定目标项目中的频繁1项集;将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据,广播至主节点和其他分布式子节点;接收统计项目和统计项目的位图数据;基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据,计算目标项集是否为频繁项集;若目标项集为频繁项集,确定目标项集中各个项目之间的关联规则。这样,可以快速地得到关联规则以及项目之间的关联关系。

    对异质网络中对象进行排序的方法

    公开(公告)号:CN103559320B

    公开(公告)日:2016-08-24

    申请号:CN201310596279.X

    申请日:2013-11-21

    Abstract: 本发明实施例公开了一种对异质网络中对象进行排序的方法,其特征在于,所述方法包括:获取第一目标类型与第二目标类型;将异质网络转化为由所述第一目标类型、所述第二目标类型及所述第一目标类型与所述第二目标类型之间的路径构成的二分网络;将所述二分网络转化为对应的张量X;获取在所述张量X中进行随机游走时的可达概率平稳分布;根据所述可达概率平稳分布对所述第一目标类型中的对象、所述第二目标类型中的对象及所述第一目标类型与所述第二目标类型之间的路径进行排序。与现有技术相比,本实施例对异质网络中的对象进行排序时,不但可以使用路径捕捉语义信息,而且可以充分利用语义信息,排序结果相对准确。

    微博转发量预测模型生成方法及微博转发量预测方法

    公开(公告)号:CN103984701A

    公开(公告)日:2014-08-13

    申请号:CN201410157342.4

    申请日:2014-04-16

    CPC classification number: G06F17/30713 G06Q10/04

    Abstract: 本发明实施例公开了微博转发量预测模型生成方法及微博转发量预测方法。微博转发量预测模型生成方法包括:获取训练数据,训练数据包括多条已知转发量的微博;以微博的转发量为依据,将微博分为3个以上转发量类别;提取每条微博的基本特征;建立基本特征与转发量类别之间的多分类模型;针对每一个转发量类别,建立基本特征与微博转发量之间的回归模型。微博转发量预测方法包括:提取待预测微博的基本特征;根据多分类模型及基本特征,判定待预测微博所属的转发量类别;获取转发量类别对应的回归模型;根据回归模型及基本特征,预测待预测微博的转发量。采用本发明的提供的方法特征提取简单且适合在大规模数据中使用。

Patent Agency Ranking