- 专利标题: 一种Gaia系统中基于数据特征的动态优先级迭代器
-
申请号: CN202011473342.7申请日: 2020-12-15
-
公开(公告)号: CN112527483B公开(公告)日: 2022-06-10
- 发明人: 岳晓飞 , 赵宇海 , 王国仁 , 季航旭 , 李博扬
- 申请人: 东北大学 , 北京理工大学
- 申请人地址: 辽宁省沈阳市和平区文化路3号巷11号;
- 专利权人: 东北大学,北京理工大学
- 当前专利权人: 东北大学,北京理工大学
- 当前专利权人地址: 辽宁省沈阳市和平区文化路3号巷11号;
- 代理机构: 沈阳东大知识产权代理有限公司
- 代理商 李珉
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06F9/50 ; G06F9/54
摘要:
本发明提供一种Gaia系统中基于数据特征的动态优先级迭代器,涉及分布式大数据计算技术领域。该迭代器包括优先级调度模块、全量迭代计算模块和增量迭代计算模块;优先级调度模块读取数据源的数据作为迭代计算的初始工作集,并在每次迭代任务执行过程中维护一个用于查找和选择数据单元的跳表,以及一个用于保存数据单元对应的状态信息的状态表;并在每次迭代任务开始时按照优先级调整公式来更新状态表,当本次迭代任务所输入的数据单元全部更新完后,确定每个数据单元的优先级;Gaia系统则根据各个数据单元的优先级信息进行迭代计算;全量迭代模块由BulkIterate算子实现迭代计算,增量迭代模块由Delta Itreate算子实现迭代计算。
公开/授权文献
- CN112527483A 一种Gaia系统中基于数据特征的动态优先级迭代器 公开/授权日:2021-03-19