-
公开(公告)号:CN110263059B
公开(公告)日:2021-05-11
申请号:CN201910438036.0
申请日:2019-05-24
Applicant: 湖南大学
IPC: G06F16/2455
Abstract: 本申请涉及一种Spark‑Streaming中间数据分区方法、装置、计算机设备和存储介质。一个实施例中的方法包括:获取Spark‑Streaming map任务输出的中间数据中的多个元素,基于蓄水池抽样算法,对多个元素进行抽样处理,得到抽样处理后的元素集群;通过时间序列预测方法对元素集群中元素对应的频率权重进行更新,对更新后的元素集群中各元素按照预设元素顺序进行排序;基于排序后的元素集群,通过动态规划方法求解数据分区对应的边界元素;根据边界元素对更新后的元素集群中的元素进行分区,以使分区处理后最大分区内的各个元素对应的频率权重之和最小。
-
公开(公告)号:CN110246549B
公开(公告)日:2021-04-20
申请号:CN201910526239.5
申请日:2019-06-14
Applicant: 湖南大学
IPC: G16C20/10
Abstract: 本申请涉一种多物理耦合应用处理方法、装置、计算机设备和存储介质。方法包括:获取根据待处理多物理耦合应用的离散程度生成的有向无环图;获取输入的化学反应优化算法参数,构建化学反应算法分子并执行化学反应优化算法,获取目标最小时间开销值;根据最小时间开销值对应的化学反应算法分子,确定有向无环图中各独立任务的最优执行序列,根据最优执行序列处理多物理耦合应用。本申请的多物理耦合应用处理方法通过多物理耦合抽象出的有向无环图中来构建化学反应算法分子,并通过化学反应优化算法确定任务以最小时间开销,并确定待处理多物理耦合应用的最优执行序列,从而可以以最高执行效率的方式来进行多物理耦合应用的处理。
-
公开(公告)号:CN110321223A
公开(公告)日:2019-10-11
申请号:CN201910594800.3
申请日:2019-07-03
Applicant: 湖南大学
IPC: G06F9/50
Abstract: 本申请涉及一种Coflow协同作业流调度感知的数据流划分方法、装置、计算机设备和存储介质,其中,方法包括:获取待划分的DDSP应用程序数据流,提取DDSP应用程序的复杂计算任务流,根据预设Coflow协同作业流调度模型,将DDSP应用程序中复杂计算任务流划分为多个子任务流,再进一步分析各子任务流的数据访问需求和数据依赖性,对所述DDSP应用程序数据流进行多维度数据分割,尽可能减少不同任务之间对数据块的交叉访问,减少数据块之间的依赖性,最后根据各计算节点中子任务流的数据访问需求,以计算节点之间数据通信最小化和计算节点工作负载均衡化为优化目标,将分割后的数据块分配到最合适的计算节点,有效减少分布式计算节点之间的通信开销,提高数据块利用率和访问速度,适用于分布式数据流处理。
-
公开(公告)号:CN110232087A
公开(公告)日:2019-09-13
申请号:CN201910460745.9
申请日:2019-05-30
Applicant: 湖南大学
IPC: G06F16/25
Abstract: 本申请涉及一种大数据增量迭代方法、装置、计算机设备和存储介质。一个实施例中的方法包括:接收由图形处理器执行的有向无环图任务,获取与有向无环图任务对应的数据集,将数据集存储至图形处理器内存中的缓存;响应所述有向无环图任务,对数据集进行迭代计算,得到迭代计算后的数据集,并以迭代计算后的数据集对所述缓存中存储的数据集进行更新;当数据集发生增量变化时,基于缓存中存储的迭代计算后的数据集进行增量迭代计算,得到增量迭代后的数据集,以增量迭代后的数据集对所述缓存中的数据集进行更新。可以隐藏低带宽的输入/输出延迟,减少重复计算,从而减少计算总时间,提高大数据处理效率。
-
公开(公告)号:CN110149401A
公开(公告)日:2019-08-20
申请号:CN201910427986.3
申请日:2019-05-22
Applicant: 湖南大学
IPC: H04L29/08
Abstract: 本发明公开了一种用于优化边缘计算任务的方法,包括:移动设备接收来自边缘服务器的数据交互请求,并根据该数据交互请求获取该边缘服务器的任务到达率和CPU处理速度;移动设备根据其自身参数获取其待发送任务传输到边缘服务器的传输时间和发射功耗,移动设备处理该待发送任务的时间和能耗,以及边缘服务器对该待发送任务的处理时间,移动终端获取边缘计算系统中与该移动终端相邻、且具备边缘计算能力的空闲移动设备,移动设备根据其自身参数获取其待发送任务传输到空闲移动设备的传输时间和发射功耗。本发明能够解决现有方法由于没有充分利用边缘计算系统中空闲且具备边缘计算能力的移动终端,从而导致边缘计算系统的整体工作效率低下的技术问题。
-
-
-
-