数据处理系统、电子设备及存储介质

    公开(公告)号:CN117032980A

    公开(公告)日:2023-11-10

    申请号:CN202311051581.7

    申请日:2023-08-21

    Abstract: 本发明公开了数据处理系统、电子设备及存储介质。系统包括:分布式文件模块、分布式处理模块和调度模块,其中:所述分布式文件模块用于对获取的数据进行拆分及处理,生成日志文件信息;所述分布式处理模块用于利用局部性原理,在每一个节点在数据完成后,接收每个节点发送的数据,对接收到的数据进行合并、排序和分发至各个节点;所述调度模块用于按照预先设置的资源分配算法对各个节点的数据进行调度,这样,基于本发明的数据处理系统,对数据进行处理,且进行调度,可以有效地对数据进行调度,提高调度效率。

    一种数据处理方法、系统及计算机储存介质

    公开(公告)号:CN116303379A

    公开(公告)日:2023-06-23

    申请号:CN202211603850.1

    申请日:2022-12-13

    Abstract: 本发明涉及一种数据处理方法、系统及计算机储存介质,方法包括:获取目标数据信息;对目标数据信息进行数据清洗,以得到数据清洗后的第一数据信息;基于业务主题域及业务场景,构建适于第一数据信息的目标数据模型;基于目标数据模型将第一数据信息形成第一数据集,第一数据集包含若干个共性数据子集;基于第一数据集,构建数据资产共享平台,并将数据资产共享平台对接需求端。上述通过进行数据清洗、构建数据模型,并基于所构建的数据模型,将获取的目标数据信息形成具有相关共性的第一数据集,便于后续的需求端资产共享平台,进而便于满足需求端用户的数据分析需求。解决了对于用户来说技术门槛过高、体验不佳的问题。

Patent Agency Ranking