公开(公告)号：CN103729428B

公开(公告)日：2017-04-12

申请号：CN201310727192.1

申请日：2013-12-25

Applicant: 中国科学院计算技术研究所

Inventor： 何清 ,  吴新宇 ,  庄福振 ,  敖翔

IPC: G06F17/30

Abstract: 本发明公开了一种大数据分类方法及系统，方法包括：训练步骤，将输入数据划分成输入数据块，将该输入数据块生成模式字符串的分类规则{模式字符串=>类标}，并将该分类规则写入Hbase数据库规则表；测试步骤，读取该输入数据块，并构造待分类模式字符串，在该Hbase数据库规则表中查找与该待分类模式字符串匹配的分类规则，并输出分类结果。由此，提供一种基于超曲面的大数据分类方法及系统，通过采用基于超曲面的覆盖算法，能在Hadoop映射/化简编程框架和Hbase分布式非关系型数据库基础上实现，且能以较低的计算代价，构建易于解释的规则模型，快速高效处理海量数据，以应对现实世界中呈爆炸式增长的数据的分类需求。

公开(公告)号：CN103729428A

公开(公告)日：2014-04-16

申请号：CN201310727192.1

申请日：2013-12-25

Applicant: 中国科学院计算技术研究所

Inventor： 何清 ,  吴新宇 ,  庄福振 ,  敖翔

IPC: G06F17/30

CPC classification number: G06F17/30707

Abstract: 本发明公开了一种大数据分类方法及系统，方法包括：训练步骤，将输入数据划分成输入数据块，将该输入数据块生成模式字符串的分类规则{模式字符串=>类标}，并将该分类规则写入Hbase数据库规则表；测试步骤，读取该输入数据块，并构造待分类模式字符串，在该Hbase数据库规则表中查找与该待分类模式字符串匹配的分类规则，并输出分类结果。由此，提供一种基于超曲面的大数据分类方法及系统，通过采用基于超曲面的覆盖算法，能在Hadoop映射/化简编程框架和Hbase分布式非关系型数据库基础上实现，且能以较低的计算代价，构建易于解释的规则模型，快速高效处理海量数据，以应对现实世界中呈爆炸式增长的数据的分类需求。

公开(公告)号：CN103593418A

公开(公告)日：2014-02-19

申请号：CN201310526790.2

申请日：2013-10-30

Applicant: 中国科学院计算技术研究所

Inventor： 吴新宇 ,  何清 ,  庄福振 ,  敖翔

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F17/30705 ,  G06F17/30731

Abstract: 本发明涉及一种面向大数据的分布式主题发现系统及方法，包含三个并行处理过程，每个过程均由映射、组合、化简三个功能模块中的一个或多个组合而成，对每个输入文档的特征向量进行正规化，并且对构成该文档的每个词在本文档中出现次数进行计数；在映射功能模块端将每个文档作为一个原始类并对文档频率计数，在组合模块端对映射模块端产生的原始类进行本地聚类，生成局部类，在化简模块端对来自多个远端物理节点组合产生的局部类进行聚类，生成全局类；对第二个映射/化简过程产生全局类的内部关键词进行打分和排序，输出用户所需的K个高分关键词表达主题。从而处理TB级数据，并且计算能力线性上升，真正实现分布式计算，提高性能和效率。

公开(公告)号：CN103593418B

公开(公告)日：2017-03-29

申请号：CN201310526790.2

申请日：2013-10-30

Applicant: 中国科学院计算技术研究所

Inventor： 吴新宇 ,  何清 ,  庄福振 ,  敖翔

IPC: G06F17/30

Abstract: 本发明涉及一种面向大数据的分布式主题发现系统及方法，包含三个并行处理过程，每个过程均由映射、组合、化简三个功能模块中的一个或多个组合而成，对每个输入文档的特征向量进行正规化，并且对构成该文档的每个词在本文档中出现次数进行计数；在映射功能模块端将每个文档作为一个原始类并对文档频率计数，在组合模块端对映射模块端产生的原始类进行本地聚类，生成局部类，在化简模块端对来自多个远端物理节点组合产生的局部类进行聚类，生成全局类；对第二个映射/化简过程产生全局类的内部关键词进行打分和排序，输出用户所需的K个高分关键词表达主题。从而处理TB级数据，并且计算能力线性上升，真正实现分布式计算，提高性能和效率。