公开(公告)号：CN112416585B

公开(公告)日：2024-03-15

申请号：CN202011310749.8

申请日：2020-11-20

Applicant: 南京大学

Inventor： 顾荣 ,  刘率 ,  王肇康 ,  袁春风 ,  黄宜华

IPC: G06F9/50 ,  G06F9/48 ,  G06F9/455 ,  G06N3/126 ,  G06N3/086

Abstract: 本发明公开了一种面向深度学习的GPU资源管理与智能化调度方法，包括以下步骤：第一步，用户通过前端接口组件提交深度学习作业，包括待执行的深度学习程序与训练数据集；第二步，在进行验证后将作业添加到调度器对应的待调度队列；第三步，为该作业启动独立的作业管理器；第四步，向资源管理器申请作业运行需要的计算资源；第五步，对待调度作业进行特征建模与分析；第六步，根据作业特征与集群计算节点特征生成资源调度方案；第七步，按照调度方案将作业调度到指定计算节点上；第八步，作业执行器启动容器并执行深度学习程序。本发明可解决现有集群资源调度方法在深度学习场景下GPU资源利用率低、作业执行性能差的问题。

公开(公告)号：CN111444220B

公开(公告)日：2023-09-01

申请号：CN202010387095.2

申请日：2020-05-09

Applicant: 南京大学

Inventor： 顾荣 ,  张仪 ,  袁春风 ,  黄宜华

IPC: G06F16/2453 ,  G06F16/242 ,  G06N3/092

Abstract: 本发明公开了一种规则驱动和数据驱动相结合的跨平台SQL查询优化方法，包括以下步骤：第一步，将跨平台SQL语句解析成系统内部的逻辑查询计划；第二步，优化器调度模块依据逻辑查询计划的特点调度最适合的优化器进行查询优化；第三步，规则驱动的优化器依据规则进行计划搜索，并依据代价模型和基数估算进行执行计划的选择，得到最佳物理执行计划，且将优化结果导入样本采集模块；第四步，样本采集模块导入的样本经过数据适配模块转化为训练样本，数据驱动的优化器利用训练样本进行强化学习模型训练，将查询输入训练好的模型得到最佳物理执行计划。本发明解决了现有跨平台SQL查询优化方法可拓展性差、灵活性低、优化效果差等问题。

公开(公告)号：CN113177034B

公开(公告)日：2023-07-18

申请号：CN202110491976.3

申请日：2021-05-06

Applicant: 南京大学

Inventor： 黄宜华 ,  王肇康 ,  黎俊虹

IPC: G06F16/182 ,  G06F16/901

Abstract: 本发明公开了一种跨平台统一的分布式图数据处理方法，包括如下步骤：用户通过跨平台统一分布式图处理编程框架提供的API触发计算；用户的程序被序列化到程序文件中并上传分布式文件系统；框架启动相应分布式图处理系统的计算作业；集群中多个计算节点启动计算进程；每个计算进程下载程序文件并启动PregelX Runner进程；PregelX Runner与计算进程建立进程间通信通道，计算进程通过进程间通信通道调用用户程序进行具体的数据处理。本发明使得用户可以基于Python语言编写可跨平台执行的分布式图数据处理程序，解决了现有分布式图处理系统用户学习成本高、程序迁移代价高等易用性不足的问题。

公开(公告)号：CN110059103B

公开(公告)日：2023-06-06

申请号：CN201910347842.7

申请日：2019-04-28

Applicant: 南京大学

Inventor： 黄宜华 ,  朱光辉 ,  尹良良

IPC: G06F16/242 ,  G06F16/21

Abstract: 本发明公开了一种跨平台统一的大数据SQL查询方法，包括以下步骤：扩展部分SQL语义，为用户提供统一的跨平台SQL查询语言；统一SQL解析器将用户提交的查询语句解析为逻辑查询计划，并根据统一元数据库中保存的元信息，验证查询语句的合法性；跨平台优化器优化逻辑查询计划的结构与连接顺序，并将逻辑查询计划转化为由多个绑定了执行平台的子查询构成的最佳物理执行计划；跨平台调度器将最佳物理执行计划转化为任务流图，并根据任务间的依赖关系自动调度、执行所有任务；设计满足跨平台SQL查询需求的统一的平台层接口，屏蔽不同执行平台间的操作差异。本发明解决现有跨平台查询方法易用性差、性能低、数据迁移开销巨大等问题。

公开(公告)号：CN110110858B

公开(公告)日：2023-03-28

申请号：CN201910359211.7

申请日：2019-04-30

Applicant: 南京大学

Inventor： 黄宜华 ,  顾荣 ,  朱光辉 ,  王磊

IPC: G06N20/00

Abstract: 本发明公开了一种基于强化学习的自动化机器学习方法，包括以下步骤：使用统一的API接口，屏蔽不同的机器学习算法库之间的异构性，以Python作为编程语言，在Python语言中调用不同机器学习算法库中的算法；将自动化机器学习问题建模为强化学习问题，对候选机器学习算法进行状态空间划分，确定状态间的转移关系，并采用Q‑Learning算法完成搜索机器学习流水线的过程；对数据集进行元特征提取，搜索最相似数据集，并利用所述最相似数据集上的运行信息来加速自动化机器学习的收敛过程。本发明解决了现有的自动化机器学习系统收敛速度慢、可扩展性差以及最终预测性能达不到预期的问题。

公开(公告)号：CN115168006A

公开(公告)日：2022-10-11

申请号：CN202210846093.4

申请日：2022-07-04

Applicant: 南京大学

Inventor： 顾荣 ,  吴侗雨 ,  殷瀚 ,  钟伟畅 ,  黄宜华

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开了一种基于优先状态迁移的流处理作业扩缩容调度方法。首先，在准备阶段，本发明进行初始化工作；其次，在分配阶段，本发明为伸缩操作分配必要资源；然后，在迁移准备阶段，上游算子更新数据分发策略；之后，在迁移阶段，分发明将待迁移状态拆分为若干个“微批”进行迁移，被扩缩容算子进行实例间的状态迁移；最后，在基于消息队列的状态传输完成后，清理阶段负责销毁实例、回收系统资源等。本发明可以保证流处理作业在不中断流处理任务的同时进行系统伸缩，并且保证流处理任务的全局状态的一致性；可以尽量提高状态数据迁移的效率，以最小化状态迁移所带来的算子性能下降；可以避免在非伸缩阶段影响系统性能。

公开(公告)号：CN113204539A

公开(公告)日：2021-08-03

申请号：CN202110516717.1

申请日：2021-05-12

Applicant: 南京大学

Inventor： 顾荣 ,  韦佳佳 ,  黄宜华

IPC: G06F16/21 ,  G06F11/34 ,  G06N3/12

Abstract: 本发明公开了一种融合系统语义的大数据系统参数自动优化方法，包括如下步骤：对系统运行作业和数据集进行特征提取；学习历史作业和数据集的大数据系统参数调优日志，形成参数预测模型；根据作业和数据集特征，预测较优的参数配置；从预测参数配置(较优)开始，配置系统参数并执行作业；在作业执行过程或执行结束后进行多维度性能分析；根据分析结果进行遗传搜索，得到更优参数；根据系统语义判断参数配置的合理性，实现参数搜索过程中的剪枝优化。本发明在多种大数据应用场景下均实现了大数据系统参数自动优化，提高大数据计算作业性能，解决现有技术不能同时兼顾参数推荐精准度和参数搜索效率的问题。

公开(公告)号：CN107506823B

公开(公告)日：2020-11-13

申请号：CN201710725762.1

申请日：2017-08-22

Applicant: 南京大学

Inventor： 黄宜华 ,  陈泳昌 ,  袁春风 ,  赵博

IPC: G06N3/04 ,  G06F16/332 ,  G06F40/211 ,  G06F40/284

Abstract: 本发明公开了一种用于对话生成的混合神经网络模型的构建方法，包括以下步骤：获取形式为对话语句对的数据集并构建词汇表；生成词嵌入表；初始化特定结构的卷积神经网络，生成对应输入语句的词汇推荐表，判断是否提供了真实输出，若有提供则训练本步中的卷积神经网络的参数；初始化特定结构的循环神经网络，使用上步输出，生成具有语序的词汇标识列表，判断是否提供了真实输出，若有提供则训练本步中的循环神经网络的参数；训练结果满足设定指标后，保存词汇表和词嵌入表，保存卷积神经网络和循环神经网络的参数，即为构建整个模型完毕。本发明解决现有的神经网络对话模型因词汇表长度过大导致的训练速度慢、准确率低、生成语句一般化等问题。

公开(公告)号：CN108549718A

公开(公告)日：2018-09-18

申请号：CN201810368425.6

申请日：2018-04-23

Applicant: 南京大学

Inventor： 顾荣 ,  黄宜华 ,  赵博 ,  肖倩 ,  袁春风

IPC: G06F17/30 ,  G06K9/62

Abstract: 本发明公开了一种通用的主题嵌入模型联合训练方法，包括以下步骤：第一步对输入的原始文档语料进行预处理得到目标文本；第二步对目标文本构建词汇表；第三步初始化网络结构，对模型的参数矩阵进行初始化，并构建负采样表；第四步对主题嵌入模型联合建模、分多次迭代训练模型。每一次迭代过程分为以下三步：第一步，采用期望最大化算法训练主题模型部分；第二步，采用随机梯度下降算法训练嵌入模型部分；第三步，采用完全梯度下降算法训练正则化项部分。本发明可提供一种通用的方式将主题模型与嵌入模型联合训练，解决现有的模型组合方式过于依赖特有模型、通用性不足，很难同时提升两种模型等问题。

公开(公告)号：CN106055543A

公开(公告)日：2016-10-26

申请号：CN201610346396.4

申请日：2016-05-23

Applicant: 南京大学

Inventor： 黄宜华 ,  周娟 ,  顾荣 ,  杨文家 ,  黄书剑

IPC: G06F17/28 ,  G06F17/30 ,  G06K9/62

CPC classification number: G06F17/289 ,  G06F17/30194 ,  G06K9/6256

Abstract: 本发明公开了一种基于Spark的大规模短语翻译模型的训练方法，包括以下步骤：首先采取Spark分布式地调用单机多线程词对齐训练工具MGIZA++的模式，在大规模平行语料库中使用期望最大化算法进行词对齐模型的迭代训练，生成带有词对齐信息的平行语料库；接着使用上一步生成的带有词对齐信息的双语语料数据，在Spark平台上实现了短语翻译模型的并行化训练，最终得到短语表。本发明提出了一种基于Spark的大规模翻译模型的训练方法，解决了现有翻译系统在翻译模型训练中耗时较长、数据扩展性不佳的问题。