-
公开(公告)号：CN108241472A
公开(公告)日：2018-07-03
申请号：CN201711250255.3
申请日：2017-12-01
Applicant: 北京大学
Abstract: 本发明涉及一种支持局部性表达函数的大数据处理方法和系统。该方法包括以下步骤：1)发掘大数据处理系统中所处理的数据的局部性，形成局部性表达函数；2)将局部性表达函数部署在大数据处理系统中；3)大数据处理系统按照局部性表达函数分配工作任务。所述大数据处理系统采用分布式存储方式或集中式存储方式；所述局部性表达函数在大数据处理系统中的部署方式分为两种类型：内置式冷启动模式、外置式热插拔模式。本发明通过发掘数据中隐藏的局部性，并且使用自定义的局部性函数表达出来，最终被大数据处理系统识别，按照局部性来分配机器执行任务，从而达到优化处理效率。
-
公开(公告)号：CN108241472B
公开(公告)日：2021-03-12
申请号：CN201711250255.3
申请日：2017-12-01
Applicant: 北京大学
Abstract: 本发明涉及一种支持局部性表达函数的大数据处理方法和系统。该方法包括以下步骤：1)发掘大数据处理系统中所处理的数据的局部性，形成局部性表达函数；2)将局部性表达函数部署在大数据处理系统中；3)大数据处理系统按照局部性表达函数分配工作任务。所述大数据处理系统采用分布式存储方式或集中式存储方式；所述局部性表达函数在在大数据处理系统中的部署方式分为两种类型：内置式冷启动模式、外置式热插拔模式。本发明通过发掘数据中隐藏的局部性，并且使用自定义的局部性函数表达出来，最终被大数据处理系统识别，按照局部性来分配机器执行任务，从而达到优化处理效率。
-
公开(公告)号：CN108153585A
公开(公告)日：2018-06-12
申请号：CN201711249478.8
申请日：2017-12-01
Applicant: 北京大学
IPC: G06F9/48
CPC classification number: G06F9/4881
Abstract: 本发明涉及一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置。该方法在Map阶段之前建立局部性表达函数，局部性表达函数通过实数值的大小关系表达局部性；在Map阶段根据计算出的局部性表达函数的值进行数据的加载，将不同数据按照局部性表达函数的数值区间分配给不同的计算节点来进行运算。在多轮MapReduce任务中，将局部性表达函数的值作为中间结果附带在Map和Reduce阶段，并在各个计算节点之间传递，以迭代计算局部性表达函数的值，在达到设定的收敛阈值之后，按照局部性表达函数的数值区间进行数据的重新分布。本发明的目的是通过局部性表达函数优化MapReduce框架的运行效率。
-
公开(公告)号：CN108153585B
公开(公告)日：2021-08-20
申请号：CN201711249478.8
申请日：2017-12-01
Applicant: 北京大学
IPC: G06F9/48
Abstract: 本发明涉及一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置。该方法在Map阶段之前建立局部性表达函数，局部性表达函数通过实数值的大小关系表达局部性；在Map阶段根据计算出的局部性表达函数的值进行数据的加载，将不同数据按照局部性表达函数的数值区间分配给不同的计算节点来进行运算。在多轮MapReduce任务中，将局部性表达函数的值作为中间结果附带在Map和Reduce阶段，并在各个计算节点之间传递，以迭代计算局部性表达函数的值，在达到设定的收敛阈值之后，按照局部性表达函数的数值区间进行数据的重新分布。本发明的目的是通过局部性表达函数优化MapReduce框架的运行效率。
-
-
-
Search Results
4
records
(took 0.016 seconds)
