公开(公告)号：CN116627673A

公开(公告)日：2023-08-22

申请号：CN202310609950.3

申请日：2023-05-26

Applicant: 上海交通大学

Inventor： 马汝辉 ,  蔡子诺 ,  陈泽彬 ,  陈星耒 ,  管海兵

IPC: G06F9/54 ,  G06F16/242

Abstract: 本发明公开了一种面向工业大数据的无服务器流计算应用构建方法，涉及工业大数据领域。智能制造设备上传数据源到对象存储桶，触发预处理算子生成无服务器计算实例，对源数据进行预处理；预处理算子将预处理完的数据推送到指定的消息队列；基于消息队列事件触发的数据处理算子生成无服务器计算实例，从消息队列接收数据并进行处理；数据处理算子实例将处理完的数据继续上传到指定的消息队列，实现将数据传输给下一处理单元；所设定的数据处理算子流式处理数据，最后一个算子将结果持久化存储在NoSQL型数据库中。本发明为制造企业提供了一种行之有效且开发运维门槛较低的基于无服务器的流计算应用构建方式。

公开(公告)号：CN119416866A

公开(公告)日：2025-02-11

申请号：CN202411471734.8

申请日：2024-10-21

Applicant: 上海交通大学 ,  北京微电子技术研究所

Inventor： 马汝辉 ,  陈星耒 ,  田梦珂 ,  李冬梅 ,  蔡子诺 ,  管海兵

IPC: G06N3/098 ,  G06N3/082 ,  G06N3/0985 ,  G06F9/50 ,  H04L67/10 ,  H04L67/1097 ,  G06N5/01

Abstract: 本发明公开了一种基于无服务器架构的高效分布式机器学习训练系统，建模模块，用于获取输入的工作负载，以进行建模；资源配置模块，被配置有优化数学模型，用于在建模模块完成建模的基础之上，基于优化数学模型获取最优参数配置；优化数学模型建模无服务器分布式训练的双层参数以及系统级参数与训练延迟、成本和收敛效率之间的关系；K‑REDUCE训练框架，用于触发无服务器函数，无服务器函数依据K‑REDUCE框架进行分布式训练。本发明通过构建数学模型描述参数与性能之间的关系，采用基于剪枝的启发式搜索算法寻找最优参数配置，有效提高训练性能并降低经济成本，动态地调整系统资源，实现最优训练性能。