一种Gaia系统中基于数据特征的动态优先级迭代器
摘要:
本发明提供一种Gaia系统中基于数据特征的动态优先级迭代器,涉及分布式大数据计算技术领域。该迭代器包括优先级调度模块、全量迭代计算模块和增量迭代计算模块;优先级调度模块读取数据源的数据作为迭代计算的初始工作集,并在每次迭代任务执行过程中维护一个用于查找和选择数据单元的跳表,以及一个用于保存数据单元对应的状态信息的状态表;并在每次迭代任务开始时按照优先级调整公式来更新状态表,当本次迭代任务所输入的数据单元全部更新完后,确定每个数据单元的优先级;Gaia系统则根据各个数据单元的优先级信息进行迭代计算;全量迭代模块由BulkIterate算子实现迭代计算,增量迭代模块由Delta Itreate算子实现迭代计算。
0/0