-
公开(公告)号：CN110955527B
公开(公告)日：2022-05-10
申请号：CN201911296949.X
申请日：2019-12-17
Applicant: 湖南大学
IPC: G06F9/50
Abstract: 本发明公开了一种基于CPU核数预测实现并行任务调度的方法，其通过衡量异构处理器的高计算能力和调度算法的执行效果以及处理器负载均衡等各项性能指标，应用天河一号很强计算能力的节点实测所设计的数据预测并行技术和调度算法的性能指标，可以发现计算时间有明显的减少，预测方法并行执行的时间大大缩减，同时算法的执行更为高效，并且该计算方法保持了很好的处理器负载均衡，得到了一个较优的调度执行结果。本发明可以充分利用现有的硬件资源进行计算，并且在操作中证明了基于异构处理器集群情况下的预测方法的执行高效性，以及所使用的调度算法的并行执行的可靠性，同时也很好的保证了处理器间的负载均衡。
-
公开(公告)号：CN111045987B
公开(公告)日：2020-12-15
申请号：CN201911296941.3
申请日：2019-12-17
Applicant: 湖南大学
IPC: G06F16/13 , G06F16/182 , G06K9/62
Abstract: 本发明公开了一种基于Ceph分布式文件系统加速元数据访问的方法，包括：利用时间戳链表获取每个文件元数据的访问次数；采集每个元数据的时间属性和访问次数；重复使用K‑Means算法对这些元数据进行聚类，找到两个聚类中心点；利用上述两个聚类中心，设置预取门槛值，当某个文件的点击次数达到门槛值就去MDS预取。并在MDS服务器中选择符合要求的元数据；本发明能够解决现有Ceph分布式文件系统元数据访问机制中存在的缓存命中率低、元数据传输次数过多、元数据的查询效率低的技术问题。
-
公开(公告)号：CN111061565B
公开(公告)日：2023-08-25
申请号：CN201911292796.1
申请日：2019-12-12
Applicant: 湖南大学
Abstract: 本发明公开了一种Spark环境下的两段式流水线任务调度方法及系统。所述方法包括以下阶段：网络空闲阶段任务调度，该阶段为共生任务及等待任务分配CPU资源，当正在运行的任务有共生任务时，在其执行完成后，将其占用的CPU资源分配给其共生任务；否则，在其执行完成后，按照Spark环境优先级的调度将其占用的CPU资源分配给相应等待任务；网络需求阶段任务调度，该阶段为正在运行的任务匹配数据拉取时间大于其剩余完成时间的等待任务作为共生任务，并对共生任务进行调度。所述系统，其包括网络空闲阶段任务调度模块和网络需求阶段任务调度模块。本发明实现流水线作业，能够实现提高CPU资源及网络资源利用率、从而有效地减少了资源的空闲时间和job的完成时间。
-
公开(公告)号：CN111061910B
公开(公告)日：2020-12-15
申请号：CN201911294985.2
申请日：2019-12-16
Applicant: 湖南大学
Abstract: 本发明公开了一种基于HBase和Solr的视频特征数据查询方法，包括以下步骤：服务端接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；服务端根据步骤一得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；本发明通过建立配置文件，使用特征数据ID值关联特征数据和索引，从而提高数据检索的效率和准确率，因此，能够解决现有视频监控系统由于特征数据存储时间的拉长和特征数据量的增加，导致无法对这些海量特征数据进行准确查询的技术问题。
-
公开(公告)号：CN110955527A
公开(公告)日：2020-04-03
申请号：CN201911296949.X
申请日：2019-12-17
Applicant: 湖南大学
IPC: G06F9/50
Abstract: 本发明公开了一种基于CPU核数预测实现并行任务调度的方法，其通过衡量异构处理器的高计算能力和调度算法的执行效果以及处理器负载均衡等各项性能指标，应用天河一号很强计算能力的节点实测所设计的数据预测并行技术和调度算法的性能指标，可以发现计算时间有明显的减少，预测方法并行执行的时间大大缩减，同时算法的执行更为高效，并且该计算方法保持了很好的处理器负载均衡，得到了一个较优的调度执行结果。本发明可以充分利用现有的硬件资源进行计算，并且在操作中证明了基于异构处理器集群情况下的预测方法的执行高效性，以及所使用的调度算法的并行执行的可靠性，同时也很好的保证了处理器间的负载均衡。
-
Patent Agency Ranking
公开(公告)号：CN111045987A
公开(公告)日：2020-04-21
申请号：CN201911296941.3
申请日：2019-12-17
Applicant: 湖南大学
IPC: G06F16/13 , G06F16/182 , G06K9/62
Abstract: 本发明公开了一种基于Ceph分布式文件系统加速元数据访问的方法，包括：利用时间戳链表获取每个文件元数据的访问次数；采集每个元数据的时间属性和访问次数；重复使用K-Means算法对这些元数据进行聚类，找到两个聚类中心点；利用上述两个聚类中心，设置预取门槛值，当某个文件的点击次数达到门槛值就去MDS预取。并在MDS服务器中选择符合要求的元数据；本发明能够解决现有Ceph分布式文件系统元数据访问机制中存在的缓存命中率低、元数据传输次数过多、元数据的查询效率低的技术问题。
-
公开(公告)号：CN110955732A
公开(公告)日：2020-04-03
申请号：CN201911294970.6
申请日：2019-12-16
Applicant: 湖南大学
Abstract: 本发明公开了一种用于在Spark环境中实现分区负载均衡的方法，包括：接收用户发送的Spark应用程序，对该Spark应用程序进行解析，以得到表征多个弹性分布式数据集RDD之间关系的RDD图、以及调度阶段的有向无环图DAG，根据DAG图依次确定每两个相邻调度阶段之间的依赖关系，并对得到的所有依赖关系中的宽依赖关系进行编号，设置计数器cnt＝1，判断cnt是否大于宽依赖关系的总数，如果不是则对第cnt个宽依赖关系对应的Map端中最后一个RDD中的所有分区中的数据进行采样，以得到表征数据键分布的、每个分区对应的哈希表，将得到的所有分区对应的哈希表进行合并。本发明能够在解决大数据计算中数据倾斜问题的同时，优化计算资源的分配，缩短程序运行时间。
-
公开(公告)号：CN110955732B
公开(公告)日：2020-12-01
申请号：CN201911294970.6
申请日：2019-12-16
Applicant: 湖南大学
Abstract: 本发明公开了一种用于在Spark环境中实现分区负载均衡的方法，包括：接收用户发送的Spark应用程序，对该Spark应用程序进行解析，以得到表征多个弹性分布式数据集RDD之间关系的RDD图、以及调度阶段的有向无环图DAG，根据DAG图依次确定每两个相邻调度阶段之间的依赖关系，并对得到的所有依赖关系中的宽依赖关系进行编号，设置计数器cnt＝1，判断cnt是否大于宽依赖关系的总数，如果不是则对第cnt个宽依赖关系对应的Map端中最后一个RDD中的所有分区中的数据进行采样，以得到表征数据键分布的、每个分区对应的哈希表，将得到的所有分区对应的哈希表进行合并。本发明能够在解决大数据计算中数据倾斜问题的同时，优化计算资源的分配，缩短程序运行时间。
-
公开(公告)号：CN111198696A
公开(公告)日：2020-05-26
申请号：CN201911388983.X
申请日：2019-12-30
Applicant: 湖南大学
Abstract: 本发明公开了一种基于裸机服务器的OpenStack大规模部署方法，以帮助产品化OpenStack实现大规模快速部署，本发明具有三个主要功能：第一是裸机服务器的管理，即可以使用PXE自动化为服务器安装操作系统，并自动将服务器配置为可部署状态；第二，其可以将OpenStack组件打包为容器镜像，并开发专用的自动构建服务以自动将源代码打包到一键式安装包中；第三，其通过ansible脚本，该方法可以智能地部署和维护OpenStack组件。本发明构建了完整的云产品管理系统的总体结构和主要组件。最终目标是将单个节点部署为群集服务。通过裸机管理，可以将物理服务器配置为群集部署的最佳选择，显著的提升了部署效率与部署的成功率。
-
公开(公告)号：CN111061565A
公开(公告)日：2020-04-24
申请号：CN201911292796.1
申请日：2019-12-12
Applicant: 湖南大学
Abstract: 本发明公开了一种Spark环境下的两段式流水线任务调度方法及系统。所述方法包括以下阶段：网络空闲阶段任务调度，该阶段为共生任务及等待任务分配CPU资源，当正在运行的任务有共生任务时，在其执行完成后，将其占用的CPU资源分配给其共生任务；否则，在其执行完成后，按照Spark环境优先级的调度将其占用的CPU资源分配给相应等待任务；网络需求阶段任务调度，该阶段为正在运行的任务匹配数据拉取时间大于其剩余完成时间的等待任务作为共生任务，并对共生任务进行调度。所述系统，其包括网络空闲阶段任务调度模块和网络需求阶段任务调度模块。本发明实现流水线作业，能够实现提高CPU资源及网络资源利用率、从而有效地减少了资源的空闲时间和job的完成时间。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.025 seconds)
