-
公开(公告)号:CN108874520A
公开(公告)日:2018-11-23
申请号:CN201810584721.X
申请日:2018-06-06
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F9/48
CPC classification number: G06F9/4881
Abstract: 本发明实施例提供一种计算方法及装置,属于数据处理领域。该方法首先获取任务计算请求,所述任务计算请求中包括需要计算的多个任务,然后根据所述多个任务之间的数据的依赖关系,生成对应的任务序列,再根据所述任务序列中任务的先后顺序,调度计算平台中对应的计算节点执行相应的计算任务,本方法中将同一个计算平台上兼容多个计算节点,由此可在同一计算平台根据任务的计算需要执行不同计算平台的任务调度,从而可以有效提高计算任务调度的效率。
-
公开(公告)号:CN106997394A
公开(公告)日:2017-08-01
申请号:CN201710236101.2
申请日:2017-04-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/22
Abstract: 本发明公开了一种数据乱序到达处理方法和系统。方法包括以下步骤:提取当前时间窗口字段,将时间窗口字段处理成日期类型数据;判断用户流数据是否存在指定时间窗口字段,并做相应地处理;标记时间分片字段所在的时间窗口字段,并从Redis存储库中提取在该时间窗口字段之前的数据集;判断标记的时间窗口字段的时间分片数据是否在提取的数据集中,并做相应地处理;存储用户流数据到Redis存储库中,更新Redis存储库;系统包括数据处理模块、第一判断模块、标记模块、第二判断模块和Redis存储库模块。本发明解决了实时流数据的乱序到达的问题,尤其适用于解决数据源并非序列化的场景,提升了数据的有效性和时序性。
-
公开(公告)号:CN106997394B
公开(公告)日:2019-06-14
申请号:CN201710236101.2
申请日:2017-04-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/22
Abstract: 本发明公开了一种数据乱序到达处理方法和系统。方法包括以下步骤:提取当前时间窗口字段,将时间窗口字段处理成日期类型数据;判断用户流数据是否存在指定时间窗口字段,并做相应地处理;标记时间分片字段所在的时间窗口字段,并从Redis存储库中提取在该时间窗口字段之前的数据集;判断标记的时间窗口字段的时间分片数据是否在提取的数据集中,并做相应地处理;存储用户流数据到Redis存储库中,更新Redis存储库;系统包括数据处理模块、第一判断模块、标记模块、第二判断模块和Redis存储库模块。本发明解决了实时流数据的乱序到达的问题,尤其适用于解决数据源并非序列化的场景,提升了数据的有效性和时序性。
-
-