一种用于多并行处理框架的数据处理方法及装置

    公开(公告)号:CN107480202B

    公开(公告)日:2020-06-02

    申请号:CN201710584226.4

    申请日:2017-07-18

    Applicant: 湖南大学

    Inventor: 唐卓 刘昆昆 陈都

    Abstract: 本发明提供了一种用于多并行处理框架的数据处理方法及装置,该方法包括:步骤S1:获取使用环境的配置信息;步骤S2:根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据,然后通过统一的格式转换方法对获得的底层存储数据集中的底层存储数据进行数据格式转换,得到统一格式抽象数据集;步骤S3:将所述统一格式抽象数据集提供给上层应用使用。本发明通过根据使用环境配置信息和底层存储数据存储介质类型,选择对应的数据调用方法并调用底层存储数据,然后通过统一的格式转换方法,将底层存储数据转换为统一格式抽象数据集并提供给上层应用使用,进一步提高多并行处理框架的扩展性、通用性和易用性。

    一种用于多并行处理框架的数据处理方法及装置

    公开(公告)号:CN107480202A

    公开(公告)日:2017-12-15

    申请号:CN201710584226.4

    申请日:2017-07-18

    Applicant: 湖南大学

    Inventor: 刘昆昆 唐卓 陈都

    Abstract: 本发明提供了一种用于多并行处理框架的数据处理方法及装置,该方法包括:步骤S1:获取使用环境的配置信息;步骤S2:根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据,然后通过统一的格式转换方法对获得的底层存储数据集中的底层存储数据进行数据格式转换,得到统一格式抽象数据集;步骤S3:将所述统一格式抽象数据集提供给上层应用使用。本发明通过根据使用环境配置信息和底层存储数据存储介质类型,选择对应的数据调用方法并调用底层存储数据,然后通过统一的格式转换方法,将底层存储数据转换为统一格式抽象数据集并提供给上层应用使用,进一步提高多并行处理框架的扩展性、通用性和易用性。

Patent Agency Ranking