一种基于异构资源的Spark任务调度方法和系统

    公开(公告)号:CN114816704A

    公开(公告)日:2022-07-29

    申请号:CN202210464762.1

    申请日:2022-04-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于异构资源的Spark任务调度方法,包括以下步骤:服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化,服务端接收客户端提交的任务作业,并将该任务作业提交到创建的集群管理器,以将任务作业转换为多个弹性分布式数据集RDD,对得到的所有RDD进行解析,以得到表征多个RDD之间依赖关系的RDD图,服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图,服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。

    一种基于机器学习的根因定位方法和系统

    公开(公告)号:CN114416423A

    公开(公告)日:2022-04-29

    申请号:CN202210089130.1

    申请日:2022-01-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于机器学习的根因定位方法,包括:获取微服务应用系统中调用过程的数据所组成的调用链数据,获取微服务应用系统的业务指标数据、容器指标、中间件指标、主机指标、以及数据库指标数据;将获取的业务指标数据中的时间戳、平均调用时间、业务量、成功数量、成功率输入到训练好的支持向量机SVM网络中,以得到检测结果,并判断检测结果是否为异常,如果异常则对得到的检测结果进行根因检测,以得到故障发生的节点、以及导致故障发生的性能指标。本发明能够解决现有基于静态阈值设置的根因检测方法准确率低的技术问题,以及现有基于滑动窗口的根因检测方法难以识别实际数据指标的周期特性的技术问题。

    一种基于机器学习的根因定位方法和系统

    公开(公告)号:CN114416423B

    公开(公告)日:2024-08-23

    申请号:CN202210089130.1

    申请日:2022-01-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于机器学习的根因定位方法,包括:获取微服务应用系统中调用过程的数据所组成的调用链数据,获取微服务应用系统的业务指标数据、容器指标、中间件指标、主机指标、以及数据库指标数据;将获取的业务指标数据中的时间戳、平均调用时间、业务量、成功数量、成功率输入到训练好的支持向量机SVM网络中,以得到检测结果,并判断检测结果是否为异常,如果异常则对得到的检测结果进行根因检测,以得到故障发生的节点、以及导致故障发生的性能指标。本发明能够解决现有基于静态阈值设置的根因检测方法准确率低的技术问题,以及现有基于滑动窗口的根因检测方法难以识别实际数据指标的周期特性的技术问题。

    一种基于图注意力网络的中文命名实体识别方法和系统

    公开(公告)号:CN114417874B

    公开(公告)日:2024-10-15

    申请号:CN202210083152.7

    申请日:2022-01-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于图注意力网络的中文命名实体识别方法,包括以下步骤:获取待中文命名实体识别的中文语句,基于得到的中文语句构建中文语句对应的字向量集合X,将得到的中文语句对应的字向量集合X输入训练好的基于图注意力网络的中文命名实体识别模型中,以得到该中文语句对应的中文命名实体标注。本发明能够解决现有BiLSTM‑CRF模型中存在的单词边界与实体边界不一致、模型输入特征单一的技术问题,以及现有基于图注意力网络的协同图网络模型中存在的传统图注意力计算方法损害图注意力表达能力的技术问题。

    一种基于异构资源的Spark任务调度方法和系统

    公开(公告)号:CN114816704B

    公开(公告)日:2024-10-15

    申请号:CN202210464762.1

    申请日:2022-04-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于异构资源的Spark任务调度方法,包括以下步骤:服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化,服务端接收客户端提交的任务作业,并将该任务作业提交到创建的集群管理器,以将任务作业转换为多个弹性分布式数据集RDD,对得到的所有RDD进行解析,以得到表征多个RDD之间依赖关系的RDD图,服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图,服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。

    一种基于图注意力网络的中文命名实体识别方法和系统

    公开(公告)号:CN114417874A

    公开(公告)日:2022-04-29

    申请号:CN202210083152.7

    申请日:2022-01-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于图注意力网络的中文命名实体识别方法,包括以下步骤:获取待中文命名实体识别的中文语句,基于得到的中文语句构建中文语句对应的字向量集合X,将得到的中文语句对应的字向量集合X输入训练好的基于图注意力网络的中文命名实体识别模型中,以得到该中文语句对应的中文命名实体标注。本发明能够解决现有BiLSTM‑CRF模型中存在的单词边界与实体边界不一致、模型输入特征单一的技术问题,以及现有基于图注意力网络的协同图网络模型中存在的传统图注意力计算方法损害图注意力表达能力的技术问题。

Patent Agency Ranking