基于分布式的异构处理框架构建方法及系统

    公开(公告)号:CN110647575B

    公开(公告)日:2022-03-11

    申请号:CN201810590137.5

    申请日:2018-06-08

    Inventor: 曹亮 陈冲

    Abstract: 本发明公开了一种基于分布式的异构处理框架构建方法,包括以下步骤:发布模块发送请求数据并通过订阅第一消息阻塞当前线程;服务调度模块接收请求数据并将其封装为中间文件包并写入缓存模块并通过订阅第二消息阻塞当前线程;计算引擎模块调用中间文件包并根据配置数据加载对应数据并处理,将处理后的最终文件包存储至缓存模块;计算引擎模块向服务调度模块发布第二消息;服务调度模块接收第二消息并识别第二结束标志,取消订阅第二消息;服务调度模块向发布模块发布第一消息;发布模块接收第一消息并识别第一结束标志,取消订阅第一消息;发布模块从缓存模块读取最终文件包获取数据处理结果;本发明提高了数据线上实时处理效率及消息的存储能力。

    基于分布式的异构处理框架构建方法及系统

    公开(公告)号:CN110647575A

    公开(公告)日:2020-01-03

    申请号:CN201810590137.5

    申请日:2018-06-08

    Inventor: 曹亮 陈冲

    Abstract: 本发明公开了一种基于分布式的异构处理框架构建方法,包括以下步骤:发布模块发送请求数据并通过订阅第一消息阻塞当前线程;服务调度模块接收请求数据并将其封装为中间文件包并写入缓存模块并通过订阅第二消息阻塞当前线程;计算引擎模块调用中间文件包并根据配置数据加载对应数据并处理,将处理后的最终文件包存储至缓存模块;计算引擎模块向服务调度模块发布第二消息;服务调度模块接收第二消息并识别第二结束标志,取消订阅第二消息;服务调度模块向发布模块发布第一消息;发布模块接收第一消息并识别第一结束标志,取消订阅第一消息;发布模块从缓存模块读取最终文件包获取数据处理结果;本发明提高了数据线上实时处理效率及消息的存储能力。

Patent Agency Ranking