一种无监督机器学习的超参数自动优化方法及系统

    公开(公告)号:CN108062587A

    公开(公告)日:2018-05-22

    申请号:CN201711347747.4

    申请日:2017-12-15

    申请人: 清华大学

    IPC分类号: G06N99/00 G06N3/08

    CPC分类号: G06N3/088 G06N20/00

    摘要: 本发明提供一种无监督机器学习的超参数自动优化方法及系统,所述方法包括:根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则;根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。本发明提供的无监督机器学习的超参数自动优化方法及系统,对无监督机器学习算法中的超参数问题进行深入剖析,分析算法中超参数的分布规律和不同超参数下学习效果的评估,并将此规律应用于机器学习的模型训练,达到自动化选择合适超参数的目的,整个超参数的优化过程自动完成,优化效率高,大大降低了算法的使用复杂性。

    一种机器学习算法自动选择方法和系统

    公开(公告)号:CN108009643A

    公开(公告)日:2018-05-08

    申请号:CN201711354616.9

    申请日:2017-12-15

    申请人: 清华大学

    IPC分类号: G06N99/00

    CPC分类号: G06N99/005

    摘要: 本发明提供一种机器学习算法自动选择方法和系统,选择方法包括:确定待选算法集合;基于多个历史参数以及多个预设系数,确定待选算法集合中的每一待选算法的训练测试次序;按照训练测试次序,基于确定的训练集,依次对待选算法集合中的待选算法进行训练,获取每一待选算法对应的训练模型,基于每一待选算法对应的训练模型,对确定的测试集进行预测,获取每一待选算法的多个综合评分参数;基于多个综合评分参数以及多个预设系数,获取每一待选算法的综合评分;将综合评分最高的一个或多个待选算法作为机器学习算法选择结果。本发明提供的一种机器学习算法自动选择方法和系统,具有很强的学习分析能力,实现极其简单,能够得到效果很好的结果。

    一种大数据分析开发平台中异构算子管理方法

    公开(公告)号:CN107943945A

    公开(公告)日:2018-04-20

    申请号:CN201711188355.8

    申请日:2017-11-24

    申请人: 清华大学

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30424 G06F17/30557

    摘要: 本发明提供一种大数据分析开发平台中异构算子管理方法,所述方法包括:S1,对用于数据分析的各种算法进行编码生成算子,将所述算子的信息保存到数据库中;S2,根据用户导入的自定义的算子的信息,使用新增算子接口将所述自定义的算子保存到所述数据库中;S3,当接收到查询请求时,根据所述查询请求中的筛选参数使用算子查询接口对所述数据库中的算子进行查询。本发明为算子构造成为节点、节点生成节点运行实例提供接口与相应的底层实现,为分析平台提供了良好的支撑,实现了对不同类型算子进行归档整理功能,降低了开发时间,统一算子的管理接口规范,便于对算子库进行维护和更新,且易于扩充,适应性强。

    一种大数据分析开发平台中异构算子管理方法

    公开(公告)号:CN107943945B

    公开(公告)日:2018-12-11

    申请号:CN201711188355.8

    申请日:2017-11-24

    申请人: 清华大学

    IPC分类号: G06F17/30

    摘要: 本发明提供一种大数据分析开发平台中异构算子管理方法,所述方法包括:S1,对用于数据分析的各种算法进行编码生成算子,将所述算子的信息保存到数据库中;S2,根据用户导入的自定义的算子的信息,使用新增算子接口将所述自定义的算子保存到所述数据库中;S3,当接收到查询请求时,根据所述查询请求中的筛选参数使用算子查询接口对所述数据库中的算子进行查询。本发明为算子构造成为节点、节点生成节点运行实例提供接口与相应的底层实现,为分析平台提供了良好的支撑,实现了对不同类型算子进行归档整理功能,降低了开发时间,统一算子的管理接口规范,便于对算子库进行维护和更新,且易于扩充,适应性强。

    一种机器学习算法自动选择方法和系统

    公开(公告)号:CN108009643B

    公开(公告)日:2018-10-30

    申请号:CN201711354616.9

    申请日:2017-12-15

    申请人: 清华大学

    IPC分类号: G06N99/00

    摘要: 本发明提供一种机器学习算法自动选择方法和系统,选择方法包括:确定待选算法集合;基于多个历史参数以及多个预设系数,确定待选算法集合中的每一待选算法的训练测试次序;按照训练测试次序,基于确定的训练集,依次对待选算法集合中的待选算法进行训练,获取每一待选算法对应的训练模型,基于每一待选算法对应的训练模型,对确定的测试集进行预测,获取每一待选算法的多个综合评分参数;基于多个综合评分参数以及多个预设系数,获取每一待选算法的综合评分;将综合评分最高的一个或多个待选算法作为机器学习算法选择结果。本发明提供的一种机器学习算法自动选择方法和系统,具有很强的学习分析能力,实现极其简单,能够得到效果很好的结果。