一种基于端云协同的大模型生态在线进化学习方法及应用

    公开(公告)号:CN119721173A

    公开(公告)日:2025-03-28

    申请号:CN202411594574.6

    申请日:2024-11-09

    Applicant: 复旦大学

    Abstract: 本发明提供一种基于端云协同的大模型生态在线进化学习方法及应用,并将其应用于电商领域,实现了电商模型的高效训练与部署。该方法采用端云协同架构,云端部署大语言模型,端侧使用中小型语言模型,二者通过协同工作实现大模型生态的高效训练和推理。在训练过程中,云端模型作为教师模型,生成伪标签以补充数据集,指导端侧模型的优化训练。同时,引入多模型协作的自训练机制,多个模型扮演不同角色并相互讨论,自主生成训练标签,进一步优化端侧模型。与此同时,用户反馈信息将被纳入云端模型的提示词中进行情境学习,从而持续优化模型性能。本发明将该方法应用于电商场景,成功构建并部署了电商模型生态,实现了该领域的智能化发展。

    基于云端大模型增强的边缘AI协同方法及系统

    公开(公告)号:CN119396497A

    公开(公告)日:2025-02-07

    申请号:CN202510005390.X

    申请日:2025-01-03

    Applicant: 复旦大学

    Abstract: 本发明涉及一种基于云端大模型增强的边缘AI协同方法及系统。所述方法包括:通过自然语言处理技术解析自然语言请求并转化为各个子任务;评估各个边缘设备的处理能力,将子任务协调卸载到对应的边缘设备上;通过分布式的方式在各个边缘设备上进行边缘AI模型训练;使用跨设备一致性维护算法对各个初步边缘AI模型进行同步机制和一致性约束,将初步边缘AI模型的模型参数在各个边缘设备间对齐,完成边缘AI协同。通过利用自然语言处理技术深度解析用户的自然语言请求,准确转换为边缘设备可执行的子任务,实时动态分配,可以优化资源利用率并降低任务执行延迟;通过对模型进行同步机制和一致性约束,可以提升模型的整体性能和泛化能力。

    基于教师模型与情境推理的模型蒸馏方法及系统

    公开(公告)号:CN119539011A

    公开(公告)日:2025-02-28

    申请号:CN202510080881.0

    申请日:2025-01-20

    Applicant: 复旦大学

    Abstract: 本发明涉及自然语言处理技术领域,特别是涉及一种基于教师模型与情境推理的模型蒸馏方法及系统。通过使用多教师学习框架,使学生模型能够从多个大型教师模型中汲取知识,为学生模型提供多元化的学习路径;由于引入了上下文感知与示例生成机制,通过考虑输入数据的上下文信息和输入示例,增强了学生模型对复杂情境的理解和推理能力;推理链策略可以确保学生模型能够生成准确且有深度的推理过程,模仿教师模型的决策过程;采用参数微调技术,仅调整学生模型中的关键参数,实现对教师模型知识的高效迁移,减少学生模型在蒸馏过程中需要调整的参数数量;显著降低了模型部署和更新过程中的资源消耗,使得训练出的模型保持与模型相似的性能。

    基于多源层次语义融合和跨层校准的域泛化方法及系统

    公开(公告)号:CN119357903A

    公开(公告)日:2025-01-24

    申请号:CN202411921111.6

    申请日:2024-12-25

    Applicant: 复旦大学

    Abstract: 本发明涉及一种基于多源层次语义融合和跨层校准的域泛化方法及系统,涉及机器学习域泛化技术领域。所述方法包括:在每个源域上独立训练得到源域模型,提取和学习局部数据的语义特征;将各个源域模型的参数在不同的网络层级上进行加权平均,并引入语义相似性度量进行模型权重分配,聚合各个语义特征;利用注意力机制对聚合后的语义特征进行跨层级的对齐校准操作,对融合后的源域模型进行性能评估,并根据性能评估结果调整语义校准的强度。从多个源域中提取并融合关键的语义特征,可以增强模型的泛化性能;由于源域模型是在每个源域上独立训练的,且通过数据无关的方式进行语义聚合,避免了原始数据的直接共享,可以保护数据隐私。

    一种基于统一融合特征的多模态车辆驾驶风格识别方法

    公开(公告)号:CN115565161A

    公开(公告)日:2023-01-03

    申请号:CN202211299132.X

    申请日:2022-10-24

    Applicant: 复旦大学

    Abstract: 本发明公开了一种基于统一融合特征的多模态车辆驾驶风格识别方法;其包括以下步骤:(1)对多模态数据进行预处理操作,以便于下一步的特征提取阶段;预处理操作包括加入随机噪声、归一化处理、小波去噪和滑动窗口切分;(2)将数据集分为训练集和测试集,通过三个特征提取子网提取统一的统计、时间、空间和特征,再采用注意力对三种特征进行高效融合;(3)计算分类的联合损失并通过反向传播优化网络参数,得到最优驾驶风格识别模型。本发明仅需使用智能手机即可实现车辆的驾驶风格检测,具备低成本、高灵活性和可交互性;本发明可以同时提取基于时空和统计信息的关键特征并且对模块中的参数具备低敏感度。

    基于云端模型分解的边云协同学习方法及系统

    公开(公告)号:CN119398138A

    公开(公告)日:2025-02-07

    申请号:CN202510005344.X

    申请日:2025-01-03

    Applicant: 复旦大学

    Abstract: 本发明涉及一种基于云端模型分解的边云协同学习方法及系统。属于机器学习和数据处理技术领域,所述方法包括:云端服务器进行模型训练得到集中式的云端模型分解为若干子模型;各个边缘设备确定目标子模型并调整得到定制化子模型;各个所述边缘设备将模型训练过程中的模型更新参数发送至所述云端服务器,所述云端服务器根据所述模型更新参数更新全局模型;通过知识蒸馏技术将所述全局模型的知识迁移回所述边缘设备;所述边缘设备根据所述本地数据集对所述全局模型进行微调,实现边云协同。通过在边缘设备和云端之间进行有效的知识交换,实现了模型的持续学习和全局优化,更加灵活、可扩展且适应性强。

    一种基于时空特征融合的车辆驾驶行为检测方法

    公开(公告)号:CN114926825A

    公开(公告)日:2022-08-19

    申请号:CN202210547632.4

    申请日:2022-05-11

    Applicant: 复旦大学

    Abstract: 本发明属于车辆驾驶检测技术领域,具体为基于时空特征融合的车辆驾驶行为检测方法。本发明方法:在离线阶段,包括数据预处理,通过时空特征抽取网络分别提取空间和时间特征,并在全连接层嵌入驾驶上下文信息;使用Softmax函数对融合的时空特征进行驾驶行为分类;在在线阶段,包括对检测的驾驶行为进行驾驶行为评分,评分策略首先使用驾驶行为检测模型自动地检测具体的驾驶行为;接着结合驾驶表现分及驾驶水平积分两种方式全面评价驾驶员的日常及长期的驾驶行为,可以更好地引导驾驶员向高效驾驶、安全驾驶演变;最后可选择将驾驶数据与交管部门联网,优化交通管理与安全。并通过智能手机进行驾驶行为检测和反馈,极大地提高其应用价值。

    基于云端大模型增强的边缘AI协同方法及系统

    公开(公告)号:CN119396497B

    公开(公告)日:2025-03-28

    申请号:CN202510005390.X

    申请日:2025-01-03

    Applicant: 复旦大学

    Abstract: 本发明涉及一种基于云端大模型增强的边缘AI协同方法及系统。所述方法包括:通过自然语言处理技术解析自然语言请求并转化为各个子任务;评估各个边缘设备的处理能力,将子任务协调卸载到对应的边缘设备上;通过分布式的方式在各个边缘设备上进行边缘AI模型训练;使用跨设备一致性维护算法对各个初步边缘AI模型进行同步机制和一致性约束,将初步边缘AI模型的模型参数在各个边缘设备间对齐,完成边缘AI协同。通过利用自然语言处理技术深度解析用户的自然语言请求,准确转换为边缘设备可执行的子任务,实时动态分配,可以优化资源利用率并降低任务执行延迟;通过对模型进行同步机制和一致性约束,可以提升模型的整体性能和泛化能力。

    一种OpenSAI智联网络系统及算网匹配方法及系统

    公开(公告)号:CN119576522A

    公开(公告)日:2025-03-07

    申请号:CN202411424236.8

    申请日:2024-10-12

    Applicant: 复旦大学

    Abstract: 本发明涉及网络系统服务技术领域,具体公开了一种OpenSAI智联网络系统及算网匹配方法及系统。本发明通过资源监测模块对多个应用任务卸载到计算节点集群中的网络节点的状态进行监测,得到多个节点性能监测值,并依次判断多个所述节点性能监测值是否满足预设监测值,若不满足,则对不满足预设监测值的节点产生对应的需求资源的第一资源调度指令,资源控制模块在接收第一资源调度指令后,并根据所述第一资源调度指令对对应节点所需的算存网资源进行动态调度,这种方法能够确保资源得到高效利用,同时也能够保证任务在合适的条件下被执行,从而提高系统的整体性能和响应速度,并且适用于长期边缘任务的调度。

    元学习快速适应方法、装置、设备、介质和程序产品

    公开(公告)号:CN119272851A

    公开(公告)日:2025-01-07

    申请号:CN202411822784.6

    申请日:2024-12-12

    Applicant: 复旦大学

    Abstract: 本申请涉及一种元学习快速适应方法、装置、设备、介质和程序产品,涉及人工智能技术领域。所述方法包括:通过分析任务特征,识别任务间的相似性,并据此进行任务分组和模型参数的特定初始化,以实现对新任务的快速适应。本发明在保持模型泛化能力的同时,显著提升了适应速度和学习效率。此外,本发明不仅在理论上提供了对元学习算法快速适应能力的深入理解,而且在实际应用中展现了其高效性和可靠性。通过本发明,多模态元学习模型的训练变得更加快速、精确,极大地扩展了元学习技术的应用范围和实用价值。

Patent Agency Ranking