一种数据挖掘系统中数据聚类的方法、系统及装置

    公开(公告)号:CN102141988A

    公开(公告)日:2011-08-03

    申请号:CN201010102976.1

    申请日:2010-01-28

    Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。

    一种分布式集群配置管理方法及装置

    公开(公告)号:CN104753706B

    公开(公告)日:2017-11-24

    申请号:CN201310741729.X

    申请日:2013-12-27

    Abstract: 本发明提供一种分布式集群配置管理方法及装置,即一种通用的分布式集群配置管理装置及应用于该装置的配置管理方法,无论是来自执行节点还是外部业务服务器的请求,均可以通过统一接口,即REST请求转发模块分发到相应的处理模块,即执行节点数据处理模块和API数据处理模块,进而由处理模块将状态管理的相应指令发送给状态管理模块,由其在数据库中对执行节点或者服务的状态进行读取、修改等操作,以此实现对所有服务以及执行节点的状态管理,节约系统资源。

    一种数据获取方法及系统
    23.
    发明公开

    公开(公告)号:CN106612201A

    公开(公告)日:2017-05-03

    申请号:CN201510706158.5

    申请日:2015-10-27

    Abstract: 本发明提供一种数据获取方法及系统,其中,所述数据获取方法包括:接收一数据获取方输入的对应于一目标用户的第一用户标识信息;从所述目标用户的行为特征数据中选择至少部分数据输出给所述数据获取方,其中,所述目标用户的行为特征数据包括与所述第一用户标识信息对应的第一部分数据和与所述第一用户标识信息不同但对应于所述目标用户的至少一个第二用户标识信息对应的第二部分数据。本发明的方案,能够使得所述数据获取方根据目标用户的某一用户标识信息,对所述目标用户的多样性行为进行全面的把握,得到所需要的所述目标用户的行为特征数据。

    数据关联规则挖掘实现方法与系统

    公开(公告)号:CN101996102B

    公开(公告)日:2013-07-17

    申请号:CN200910091865.2

    申请日:2009-08-31

    Abstract: 本发明公开了数据关联规则挖掘实现方法及系统。通过主控节点将数据记录进行分块,将分块数据记录分配并分发给至少两个计算节点。由各计算节点并行查找频繁1-项集;并根据排序后的频繁1-项集,产生子数据项串。由合并节点并行对全部子数据项串进行统计,构建本地FP子树。通过合并FP子树,得到合局FP树,进行数据关联规则挖掘。由于每个计算节点仅处理一部分数据记录,解决了海量数据无法由单机读入内存进行处理的问题;且多个节点并行参与处理,有效提高了处理效率。

    聚类实现方法及系统
    25.
    发明授权

    公开(公告)号:CN101996197B

    公开(公告)日:2012-12-26

    申请号:CN200910091864.8

    申请日:2009-08-31

    Abstract: 本发明公开了聚类实现方法及系统。包括:由主控节点对样本分块,并将分块样本分配给至少两个计算节点,由各计算节点并行参与计算,将本地样本归属到对应聚类中,并对每一个聚类统计本地各样本的样本值的和值传送给合并节点,再由合并节点得到每一个聚类的虚拟聚类中心点信息,并传送给主控节点,由主控节点判断是否进行聚类中心点更新,以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程,在聚类计算及合并过程中通过采用多个节点并行处理,解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。

    一种基于云计算的数据挖掘方法、系统及装置

    公开(公告)号:CN102567396A

    公开(公告)日:2012-07-11

    申请号:CN201010616075.4

    申请日:2010-12-30

    Abstract: 本发明公开了一种基于云计算的数据挖掘方法、系统及装置,用以解决现有数据挖掘过程中效率低,无法满足海量数据处理需求的问题。该系统当PDM服务器接收到web服务器拆分后的用户的数据挖掘请求对应的每个子任务后,根据保存的并行算法,确定每个子任务对应的并行作业任务,向云平台集群控制节点发送该并行作业任务,将接收到的云平台集群控制节点返回的挖掘数据进行整合后提供个web服务器。由于在本发明实施例中该数据挖掘的过程通过web方式实现,因此该数据挖掘的方法可以同时为多个用户提供,并且该数据挖掘的过程中基于并行作业任务进行挖掘,因此有效的提高了数据挖掘的效率。

    应用产品开发系统、方法、装置和运行系统、方法、装置

    公开(公告)号:CN102375734A

    公开(公告)日:2012-03-14

    申请号:CN201010260985.3

    申请日:2010-08-23

    Abstract: 本发明提供了一种应用产品开发系统、方法、装置和运行系统、方法、装置。该开发系统包括开发套件和能力提供层;所述开发套件,从所述能力提供层获取所述应用产品的能力元数据描述,根据所述能力元数据描述生成所述应用产品的描述性文件;所述能力提供层,提供所述应用产品的能力元数据描述;其中,所述能力元数据描述用于描述所述应用产品的各种能力。应用本发明能够方便应用产品的开发,降低对开发人员的要求,同时提高应用产品的升级灵活性。

    数据挖掘方法和数据挖掘系统

    公开(公告)号:CN101799809B

    公开(公告)日:2011-12-14

    申请号:CN200910077661.3

    申请日:2009-02-10

    Abstract: 本发明公开了数据挖掘方法及数据挖掘系统,本发明方法包括:设置数据挖掘的工作流,所述工作流中包括多个并行的数据处理任务;启动所述工作流,并在所述多个并行的数据处理任务被触发时,为其中的每个数据处理任务分配执行节点,以使所述多个并行的数据处理任务在分配的执行节点上并行执行;以及,所述执行节点在执行每个数据处理任务时,通过Map/Reduce机制将数据处理任务分配给并行执行的Map任务进行处理,将该数据处理任务对应的各Map任务的处理结果通过相应的Reduce任务进行合并处理得到相应数据处理任务的处理结果。采用本发明,可提高数据挖掘效率。

    一种数据挖掘系统中决策树的生成方法及装置

    公开(公告)号:CN102054002A

    公开(公告)日:2011-05-11

    申请号:CN200910236747.6

    申请日:2009-10-28

    Abstract: 本发明公开了一种数据挖掘系统中决策树的生成方法及装置,主要技术方案包括:A、遍历设定数据集合,确定决策树当前层每个候选节点分别对应的未分类数据集;B、根据确定的未分类数据属性,确定每个候选节点分别对应的数据属性的属性值;C、根据确定的属性值,分别生成每个节点的决策树分支;D、分别判断每个决策树分支下节点对应的未分类数据集中的数据是否为预先确定的设定数据属性的同一属性值,将判断结果为否的节点确定为当前层的下一层的候选节点,并将下一层作为当前层返回步骤A,将判断结果为是的节点分别确定为其所在分支的最后一个节点。根据该技术方案,减少了遍历数据集合的次数,从而提高了计算效率,减少了对系统资源的占用。

    一种关联规则挖掘方法及其系统

    公开(公告)号:CN101799810A

    公开(公告)日:2010-08-11

    申请号:CN200910077996.5

    申请日:2009-02-06

    Abstract: 本发明公开了一种关联规则挖掘方法及其系统。本发明方法包括:由频繁K项集生成K+1项集;执行多个并行的处理任务,其中,每个处理任务获取事务数据集中相应部分的数据,并统计K+1项集在该部分数据中的频繁计数值;对所有处理任务的统计结果进行汇总得到K+1项集在所述事务数据集中的频繁计数值,根据K+1项集的频繁计数值生成满足支持度要求的频繁K+1项集,并根据所述频繁K+1项集在判断有满足可信度要求的关联规则时输出该关联规则。采用本发明,可提高关联规则挖掘的处理效率。

Patent Agency Ranking