一种基于异构资源的Spark任务调度方法和系统

    公开(公告)号:CN114816704B

    公开(公告)日:2024-10-15

    申请号:CN202210464762.1

    申请日:2022-04-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于异构资源的Spark任务调度方法,包括以下步骤:服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化,服务端接收客户端提交的任务作业,并将该任务作业提交到创建的集群管理器,以将任务作业转换为多个弹性分布式数据集RDD,对得到的所有RDD进行解析,以得到表征多个RDD之间依赖关系的RDD图,服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图,服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。

    一种基于图注意力网络的中文命名实体识别方法和系统

    公开(公告)号:CN114417874A

    公开(公告)日:2022-04-29

    申请号:CN202210083152.7

    申请日:2022-01-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于图注意力网络的中文命名实体识别方法,包括以下步骤:获取待中文命名实体识别的中文语句,基于得到的中文语句构建中文语句对应的字向量集合X,将得到的中文语句对应的字向量集合X输入训练好的基于图注意力网络的中文命名实体识别模型中,以得到该中文语句对应的中文命名实体标注。本发明能够解决现有BiLSTM‑CRF模型中存在的单词边界与实体边界不一致、模型输入特征单一的技术问题,以及现有基于图注意力网络的协同图网络模型中存在的传统图注意力计算方法损害图注意力表达能力的技术问题。

    一种基于文本关系图的多文本摘要生成方法

    公开(公告)号:CN112749253B

    公开(公告)日:2022-04-05

    申请号:CN202011574822.2

    申请日:2020-12-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于文本关系图的多文本摘要生成方法,其包括三个阶段:第一个阶段是根据所有输入文本,构建文本之间的关系图,并对文本进行特征提取;第二个阶段是利用第一阶段生成的文本关系图数据和文本特征,结合图神经网络进行高阶特征提取。第三个阶段是对前两个阶段编码的文本特征进行解码,生成摘要。在第二个阶段中,是将构建的文档关系图和经过编码器编码的文档表征作为图卷积神经网络的输入,进行前向传播,提取更高阶的文本特征,使得图中每个文档节点都可以获得领域节点信息,丰富了文档表征。本发明在多个文档输入时可以有效捕捉其相互间关系,克服传统方法不能充分利用文本之间关系的缺陷。

Patent Agency Ranking