-
公开(公告)号:CN115756814A
公开(公告)日:2023-03-07
申请号:CN202111040145.0
申请日:2021-09-06
Applicant: 上海宝信软件股份有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种工业大数据计算资源隔离、量化的系统,包括资源量化动态整合统计模块、资源隔离动态调节模块、DAG流程图任务运行资源量化模块、任务创建阶段需求资源检测模块、任务执行隔离模块、任务消费被压机制模块、高并发场景资源动态管控模块、资源逻辑调配层与物理层解耦模块以及资源组动态监控功能模块。本发明保障了分布式作业调度和执行系统稳定性可靠性;有效解决了分布式作业调度根据任务执行资源进行合理分配控制,以及集群资源在任务运行过程中监管的业务需求的场景;在今后任何应用xIn3Plat的项目中,都可以应用本发明。
-
公开(公告)号:CN116028294A
公开(公告)日:2023-04-28
申请号:CN202111240662.2
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种可配置规则化日志切分与报警监控的系统及方法,包括:模块M1:在日志收集任务时,配置日志源,基于配置的日志源抓取原始日志;模块M2:在日志切分任务时,将抓取的原始日志根据日志清洗规则进行日志切分;模块M3:在配置告警任务时,选择切分后的日志,并配置告警规则以及告警对象,从而实现了一个或多个相关联的报警任务。本发明可以自定义监控系统运行的日志,自定义日志切分规则、设定报警规则,并发送告警信息。保障了相关人员对系统的自动化监控,以及对问题的及时响应和排查。
-
公开(公告)号:CN115756783A
公开(公告)日:2023-03-07
申请号:CN202211434272.3
申请日:2022-11-16
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种跨子系统的空间任务依赖调度方法和系统,包括:在工作流上配置事件触发器,将多个事件触发器归属到一个调度拓扑模板中;在拓扑调度触发后获取归属于它的所有触发器,解析成一个跨空间流依赖拓扑关系,并找到起点工作流进行调度;使用消息总线机制实现跨工作空间流依赖拓扑关系的上下游工作流依赖通知;建立分布式内存总线机制,对消息总线进行抽象使用SPI机制实现TSS平台与消息列队服务以及相应的消费逻辑解耦,实现插件化消息列队服务。本发明最大程度体现了分布式算力在面对业务体量增长时的横向扩展机制,支持动态增加集群调度节点应对业务压力,基于算法自动计算生成拓扑依赖关系解决任务流程间复杂的编排调度问题。
-
公开(公告)号:CN114579326B
公开(公告)日:2024-09-27
申请号:CN202011382758.8
申请日:2020-12-01
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种分布式作业调度和执行系统插件化的方法及系统,方法包括:包括:插件配置管理步骤、插件任务配置管理步骤、插件版本管理步骤、插件缓存管理步骤、任务触发执行管理步骤和插件任务执行步骤。本发明已经在工业互联网平台xIn3Plat中得到实现,实现了定制化业务作业的执行,本发明已经在多个数据治理项目中得以使用,在保障了分布式作业调度和执行系统稳定性可靠性的前提下,有效解决了分布式作业调度和执行系统轻松满足各种复杂且频繁变更的业务需求的场景,在今后任何应用xIn3Plat的项目中,都可以应用本发明。
-
公开(公告)号:CN112905535A
公开(公告)日:2021-06-04
申请号:CN202010490722.5
申请日:2020-06-02
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/13 , G06F16/14 , G06F16/16 , G06F16/182 , G06F21/62
Abstract: 本发明提供了一种基于HBASE的分布式对象存储系统实现方法,包括:上传步骤:发送上传请求至代理模块;认证步骤:代理模块收到请求后对请求文件进行认证和鉴权,并传递给寻址模块;存储步骤:寻址模块在存储系统中存储请求文件的数据;访问步骤:获取存储的请求文件的信息并生成数据流返回。本发明保障了高存储性能,有效拓宽了分布式存储的适应场景,本发明可以有效规避磁盘空间浪费问题。
-
公开(公告)号:CN114579326A
公开(公告)日:2022-06-03
申请号:CN202011382758.8
申请日:2020-12-01
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种分布式作业调度和执行系统插件化的方法及系统,方法包括:包括:插件配置管理步骤、插件任务配置管理步骤、插件版本管理步骤、插件缓存管理步骤、任务触发执行管理步骤和插件任务执行步骤。本发明已经在工业互联网平台xIn3Plat中得到实现,实现了定制化业务作业的执行,本发明已经在多个数据治理项目中得以使用,在保障了分布式作业调度和执行系统稳定性可靠性的前提下,有效解决了分布式作业调度和执行系统轻松满足各种复杂且频繁变更的业务需求的场景,在今后任何应用xIn3Plat的项目中,都可以应用本发明。
-
-
-
-
-