公开(公告)号：CN111026519B

公开(公告)日：2023-11-10

申请号：CN201811179780.5

申请日：2018-10-10

Applicant: 上海宝信软件股份有限公司

Inventor： 叶天琦 ,  芮烨 ,  陈曦 ,  沈春锋 ,  支文瑜

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供了一种基于分布式的任务优先级调度方法和系统，依据先来先服务规则，通过第一公式，确定任务的初始优先级；通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合，减少任务的额定等待时间，提高任务优先级的优先级计算时间，提高任务调度的性能和用户体验感。

公开(公告)号：CN115705343A

公开(公告)日：2023-02-17

申请号：CN202110909748.3

申请日：2021-08-09

Applicant: 上海宝信软件股份有限公司

Inventor： 叶天琦 ,  周明 ,  黄明 ,  陈曦 ,  万英杰

IPC: G06F16/27 ,  G06F16/2455 ,  G06F9/50

Abstract: 本发明提供了一种工业互联网平台主从节点的数据同步方法和系统，包括总部节点的数据同步到子节点：步骤1：通过外部页面操作，或者系统录入数据到总部节点的数据库中；步骤2：通过DataReader对象从总部节点的数据库中拉取数据，并在内存中缓存，或者在硬盘中持久化存储；步骤3：将拉取的数据写入到Kafka集群对应的主题Topic中；步骤4：各子节点定时拉取写入主题Topic中的数据并进行处理；步骤5：将处理完的数据写入到各自节点的数据库中，完成总部节点到子节点的数据同步。本发明采用动态线程池管理算法和多分区结合，实现高吞吐量的多线程分区数据顺序传输的效果。

公开(公告)号：CN111026519A

公开(公告)日：2020-04-17

申请号：CN201811179780.5

申请日：2018-10-10

Applicant: 上海宝信软件股份有限公司

Inventor： 叶天琦 ,  芮烨 ,  陈曦 ,  沈春锋 ,  支文瑜

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供了一种基于分布式的任务优先级调度方法和系统，依据先来先服务规则，通过第一公式，确定任务的初始优先级；通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合，减少任务的额定等待时间，提高任务优先级的优先级计算时间，提高任务调度的性能和用户体验感。