公开(公告)号：CN119440632A

公开(公告)日：2025-02-14

申请号：CN202411471669.9

申请日：2024-10-21

Applicant: 上海交通大学 ,  北京微电子技术研究所

Inventor： 马汝辉 ,  陈泽彬 ,  张亦楚 ,  韩学远 ,  李冬梅 ,  田梦珂 ,  蔡子诺 ,  管海兵

IPC: G06F9/38 ,  G06F9/30 ,  G06N5/04 ,  G06F9/48 ,  G06F9/50 ,  G06N3/0455 ,  G06N3/063

Abstract: 本发明公开了一种应用于边缘设备的大语言模型流水线推理架构，涉及大语言模型领域，本发明提出了一种内存高效的流水线执行机制，即PIPELOAD，针对其实际应用提出了Hermes架构由层分析器、流水线规划器和执行引擎三部分组成；层分析器是对给定的Transformer模型中的每一层进行分析，以评估其运行性能和内存使用情况；利用层分析器生成的数据，所述流水线规划器通过改变加载代理数量以生成在不同内存限制下的执行计划；在确定执行计划后，模型推理将根据边缘设备的当前的实际内存约束，在所述执行引擎中，遵从由流水线规划器生成的对应执行计划，按照该计划中的加载代理数量进行执行。本发明有效解决了流水线阻塞的问题和在边缘设备上部署大模型时内存受限的问题。

公开(公告)号：CN119416866A

公开(公告)日：2025-02-11

申请号：CN202411471734.8

申请日：2024-10-21

Applicant: 上海交通大学 ,  北京微电子技术研究所

Inventor： 马汝辉 ,  陈星耒 ,  田梦珂 ,  李冬梅 ,  蔡子诺 ,  管海兵

IPC: G06N3/098 ,  G06N3/082 ,  G06N3/0985 ,  G06F9/50 ,  H04L67/10 ,  H04L67/1097 ,  G06N5/01

Abstract: 本发明公开了一种基于无服务器架构的高效分布式机器学习训练系统，建模模块，用于获取输入的工作负载，以进行建模；资源配置模块，被配置有优化数学模型，用于在建模模块完成建模的基础之上，基于优化数学模型获取最优参数配置；优化数学模型建模无服务器分布式训练的双层参数以及系统级参数与训练延迟、成本和收敛效率之间的关系；K‑REDUCE训练框架，用于触发无服务器函数，无服务器函数依据K‑REDUCE框架进行分布式训练。本发明通过构建数学模型描述参数与性能之间的关系，采用基于剪枝的启发式搜索算法寻找最优参数配置，有效提高训练性能并降低经济成本，动态地调整系统资源，实现最优训练性能。

公开(公告)号：CN119847751A

公开(公告)日：2025-04-18

申请号：CN202411930730.1

申请日：2024-12-25

Applicant: 上海交通大学 ,  中国船舶科学研究中心

Inventor： 王辰霈 ,  吴天祺 ,  强以铭 ,  马汝辉 ,  江卓龙 ,  蔡子诺

IPC: G06F9/50 ,  G06F18/20 ,  G06F9/455

Abstract: 本发明公开了一种面向无服务器平台的低延迟与SLO感知通用GPU共享系统，涉及GPU领域，本发明提出了FAASHARE，一种高效的基于无服务器的GPU共享框架，所述FAASHARE由MSContainer、基于贝叶斯优化的GPU共享策略组成，所述MSContainer容器能够提前为GPU‑required函数提供预热环境，减少冷启动延迟；贝叶斯优化可以动态调整资源分配，以适应不同的任务负载。本发明减少了冷启动延迟、保证服务级别目标的同时提高了GPU资源利用率。

公开(公告)号：CN116627673A

公开(公告)日：2023-08-22

申请号：CN202310609950.3

申请日：2023-05-26

Applicant: 上海交通大学

Inventor： 马汝辉 ,  蔡子诺 ,  陈泽彬 ,  陈星耒 ,  管海兵

IPC: G06F9/54 ,  G06F16/242

Abstract: 本发明公开了一种面向工业大数据的无服务器流计算应用构建方法，涉及工业大数据领域。智能制造设备上传数据源到对象存储桶，触发预处理算子生成无服务器计算实例，对源数据进行预处理；预处理算子将预处理完的数据推送到指定的消息队列；基于消息队列事件触发的数据处理算子生成无服务器计算实例，从消息队列接收数据并进行处理；数据处理算子实例将处理完的数据继续上传到指定的消息队列，实现将数据传输给下一处理单元；所设定的数据处理算子流式处理数据，最后一个算子将结果持久化存储在NoSQL型数据库中。本发明为制造企业提供了一种行之有效且开发运维门槛较低的基于无服务器的流计算应用构建方式。

公开(公告)号：CN116594776A

公开(公告)日：2023-08-15

申请号：CN202310581773.2

申请日：2023-05-22

Applicant: 上海交通大学

Inventor： 马汝辉 ,  蔡子诺 ,  陈泽彬 ,  刘子涵 ,  管海兵

IPC: G06F9/50 ,  G06F9/46

Abstract: 本发明公开了一种面向航空分布式计算的实时分散流计算应用框架，涉及分布式计算领域，包括主节点和从节点，主节点构建并管理分布式集群，从节点对分布式集群中的任务进行处理；包括如下步骤：主节点启动应用服务，构建分布式集群；从节点向主节点注册并成为工作节点；工作节点发布计算任务，向其他空闲工作节点发送任务请求，构建局部分散计算集群；将计算任务抽象为任务拓扑，执行任务调度算法为工作节点分配工作任务；工作节点启动对应的任务处理服务；开始输送源数据，各节点流式处理传入数据，并传输给下一节点，直至任务结束。本发明根据各工作节点的计算能力分配计算任务，流式处理源数据，平衡各设备的计算开销，优化了系统的实时性能。

公开(公告)号：CN119396548A

公开(公告)日：2025-02-07

申请号：CN202411440822.1

申请日：2024-10-15

Applicant: 上海交通大学

Inventor： 马汝辉 ,  何天墨 ,  蔡子诺 ,  管海兵

IPC: G06F9/48 ,  G06F9/4401 ,  G06F9/50

Abstract: 本发明公开了一种面向无服务器计算的多线程执行与资源安全共享的云计算系统，涉及无服务计算领域。本发明提出了多线程资源共享并行安全执行模型，由多线程高效并行执行、多线程资源安全共享模块组成；所述多线程高效并行执行提出了一种针对函数单实例的线程级别资源管理机制，允许对每个线程的资源分配进行精确控制，同时设计了容器内顺序执行机制；在所述多线程资源安全共享模块中，MPK保护机制是线程内存安全的核心组成部分，MPK提供了每线程内存保护，允许在不同线程之间创建内存隔离区域，从而增强了数据安全性。本发明不仅保证了任务执行的顺序性，而且通过资源的恢复和共享，提高了容器的运行效率和资源利用率。