一种通过脚本命令实现大数据任务和机器学习任务交互的方法

    公开(公告)号:CN115048403A

    公开(公告)日:2022-09-13

    申请号:CN202210308286.4

    申请日:2022-03-15

    Inventor: 吴志雄 陈其湘

    Abstract: 本发明属于人工智能技术领域,公开了一种通过脚本命令实现大数据任务和机器学习任务交互的方法,该方法包括如下步骤:根据ANTLRV4定义一种语言的规范和语法;读取脚本内容,进行语法解析,将脚本内容翻译成RDD data frame或者Python的代码;将RDD data frame或者Python的代码提交到SPARK引擎与RAY引擎;SPARK引擎与RAY引擎进行数据交互。本发明提供一种通过脚本命令实现大数据任务和机器学习任务交互的方法,以解决“算法落地成本高于收益”以及“人才资源不足,时间成本高”的问题。

    一种统一计算引擎管理的中间件系统

    公开(公告)号:CN116737406A

    公开(公告)日:2023-09-12

    申请号:CN202310380327.5

    申请日:2023-04-11

    Inventor: 何逞 陈其湘

    Abstract: 本发明一种统一计算引擎管理的中间件系统,其包括计算引擎应用模块、计算引擎连接管理模块、计算引擎连接工厂服务模块、以及引擎连接模块组成;计算引擎连接管理模块数量为一个以上,且其注册到计算引擎应用模块中;每一计算引擎连接管理模块连接一计算引擎连接工厂模块;每一计算引擎连接工厂模块下则设有多个引擎连接模块。不同应用系统只有调用计算引擎管理的中间件系统就可以调用不同计算引擎,同时该中间件系统支持计算引擎实例动态扩容满足大量应用系统调用计算引擎造成计算引擎资源不足问题,同时新增计算引擎类型只要实现计算引擎工厂服务模块抽象接口和规范,就可以实现新计算引擎类型动态加载使用。

Patent Agency Ranking