基于微内核操作系统的分布式流式数据处理方法及系统

    公开(公告)号:CN110532072A

    公开(公告)日:2019-12-03

    申请号:CN201910672072.3

    申请日:2019-07-24

    Abstract: 本发明提出一种基于微内核操作系统的分布式流式数据处理方法及系统,包括:获取包含用户定义函数的作业代码,并以该用户定义函数作为节点将该作业代码转换为有向无环图,并根据该有向无环图中算子之间的关联度,将该有向无环图中算子进行合并,得到任务逻辑视图;根据分布式微内核操作系统的物理执行环境,将该任务逻辑视图转换为执行图,该分布式微内核操作系统中工作节点收到该执行图,并将该执行图内的作业任务与作业调度分配至空闲CPU内核执行。与现有技术相比,本发明具有端到端处理延迟低,且吞吐量高,系统镜像体积小,启动时间短的技术进步。

    一种自动生成深度学习框架间操作映射的方法及系统

    公开(公告)号:CN110533162B

    公开(公告)日:2022-01-07

    申请号:CN201910677639.6

    申请日:2019-07-25

    Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统,包括:根据原深度学习框架和目标深度学习框架间的操作转换规则,抽取框架间操作转换的基本共性,根据基本共性构建转换关系,将转换关系作为基类存储于操作转换的初始描述文件中;获得原深度学习框架下支持的操作集合,遍历操作集合,为每个操作构建继承基类的子类,判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性,若是则补充特殊属性至子类,构成完备描述文件,否则直接保存子类,构成完备描述文件;将完备描述文件输入至编译器,得到操作转换规则,根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。

    基于最小执行代价的深度学习框架间模型转换方法及系统

    公开(公告)号:CN110532291A

    公开(公告)日:2019-12-03

    申请号:CN201910676904.9

    申请日:2019-07-25

    Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统,包括:在原有技术的基础上,添加操作转换代价值,同时考虑多个独立操作可以融合的情况,补充融合映射;模型的具体实现体现在构成模型的操作转换上,本阶段依据模型转换映射表,通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程,从而优化计算性能和存储空间,进而降低转换后模型的执行代价。同时,在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。

    基于最小执行代价的深度学习框架间模型转换方法及系统

    公开(公告)号:CN110532291B

    公开(公告)日:2022-07-12

    申请号:CN201910676904.9

    申请日:2019-07-25

    Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统,包括:在原有技术的基础上,添加操作转换代价值,同时考虑多个独立操作可以融合的情况,补充融合映射;模型的具体实现体现在构成模型的操作转换上,本阶段依据模型转换映射表,通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程,从而优化计算性能和存储空间,进而降低转换后模型的执行代价。同时,在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。

    一种自动生成深度学习框架间操作映射的方法及系统

    公开(公告)号:CN110533162A

    公开(公告)日:2019-12-03

    申请号:CN201910677639.6

    申请日:2019-07-25

    Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统,包括:根据原深度学习框架和目标深度学习框架间的操作转换规则,抽取框架间操作转换的基本共性,根据基本共性构建转换关系,将转换关系作为基类存储于操作转换的初始描述文件中;获得原深度学习框架下支持的操作集合,遍历操作集合,为每个操作构建继承基类的子类,判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性,若是则补充特殊属性至子类,构成完备描述文件,否则直接保存子类,构成完备描述文件;将完备描述文件输入至编译器,得到操作转换规则,根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。

Patent Agency Ranking