公开(公告)号：CN118982710A

公开(公告)日：2024-11-19

申请号：CN202411054328.1

申请日：2024-08-02

Applicant: 上海浙江大学高等研究院 ,  浙江大学

Inventor： 张圣宇 ,  江中华 ,  徐基珉 ,  赵洲 ,  王永威 ,  蔡海滨 ,  吴飞

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/94

Abstract: 本发明公开了一种基于反事实表征学习的端云协同计算方法及系统，该方法主要针对端云协同环境下数据异质性导致的辛普森悖论问题，本方法通过识别和替换端侧本地图像数据的关键特征，生成反事实正负样本进行对比学习，以逼近全局数据分布，减轻端侧图像分类模型与全局模型间的偏差；为确保特征独立可控，引入因子去相关损失约束特征间相关性本发明的方法提供了一种有效应对数据异质性、缓解辛普森悖论、实现端向云去偏汇聚的联邦学习，在非IID与IID数据分布下有效地提高了全局模型的性能。

公开(公告)号：CN119046538A

公开(公告)日：2024-11-29

申请号：CN202411120312.6

申请日：2024-08-15

Applicant: 上海浙江大学高等研究院 ,  浙江大学

Inventor： 张圣宇 ,  吕喆奇 ,  况琨 ,  何少轩 ,  韩艺轩 ,  王永威 ,  蔡海滨 ,  吴飞

IPC: G06F16/9536 ,  G06F16/9535 ,  G06N3/08 ,  G06Q30/0601 ,  G06N3/0985

Abstract: 本发明公开了一种协同大模型和推荐小模型计算的方法及系统。本发明的方法通过设计端云协同的推荐模型框架，由基于云的大型模型利用历史数据生成候选列表和初始排名，在端侧设备上的小型模型使用最新的用户数据动态重新排列此列表。协同决策请求通过评估大型模型的初始排名和小型模型的后续重新排名之间的一致性来评估调用大型模型的需要。将大语言模型的特征提取能力与小型推荐模型的便利性结合起来，增强了大语言模型在设备上的实用性和准确性。

公开(公告)号：CN118708803A

公开(公告)日：2024-09-27

申请号：CN202410697866.6

申请日：2024-05-31

Applicant: 浙江大学 ,  上海浙江大学高等研究院 ,  上海人工智能创新中心

Inventor： 殷俊 ,  吴飞 ,  陈静远 ,  周逸云 ,  赵洲 ,  张圣宇 ,  朱小军

IPC: G06F16/9535 ,  G06F16/9536 ,  G06V40/16 ,  G06Q50/20

Abstract: 本发明公开了一种基于端云协同的多模态在线试题推荐方法、系统及介质。该方法通过在设备端获取用户的做题记录、题目属性、以及作答过程中的表情信息，在设备端进行认知诊断以获得用户知识雷达图诊断结果，根据诊断结果实现自适应试题推荐。为解决设备端推荐题库的限制，设计了云端选题策略和设备端选题策略，可以根据用户需求从题目类型和质量的角度选择多样性的题目，由云端将这些题目下发至用户，并移除设备端中的冗余题目。本发明的方法实现了端云协同下的自适应考试，通过融合用户表情信息进行精准诊断，并依据诊断结果实现个性化试题推荐，解决了传统方法无法适用于大规模题库的问题，具有推荐效果好、诊断精准等优点。

公开(公告)号：CN119107497A

公开(公告)日：2024-12-10

申请号：CN202411199393.3

申请日：2024-08-29

Applicant: 上海浙江大学高等研究院 ,  浙江大学

Inventor： 张圣宇 ,  李坤熹 ,  赵洲 ,  王永威 ,  蔡海滨 ,  吴飞

IPC: G06V10/764 ,  G06V10/762 ,  G06N3/096

Abstract: 本发明公开了一种基于多端聚类协同增效机制的异步协同训练方法及系统，本发明通过对云端模型进行知识分解，利用云端超网络以及多头注意力机制，在云端模型与设备端模型间构建低秩参数桥梁，实现异构模型参数空间的直接互动、知识抽取与应用，增强设备端模型的泛化能力和应用效果。

公开(公告)号：CN119048198A

公开(公告)日：2024-11-29

申请号：CN202411120313.0

申请日：2024-08-15

Applicant: 上海浙江大学高等研究院 ,  浙江大学

Inventor： 张圣宇 ,  吕喆奇 ,  赵洲 ,  王书强 ,  田进源 ,  王永威 ,  蔡海滨 ,  吴飞

IPC: G06Q30/0601 ,  G06F16/9535 ,  G06N3/08 ,  G06F17/16 ,  G06N3/082 ,  G06F21/62

Abstract: 本发明公开了一种基于参数拼接的大小模型端云协同计算方法及系统。本发明采用了一种独特的跨多个模型的参数融合策略来克服由于无效或不那么重要的参数造成的限制。本发明的方法包括两个主要组成部分：参数值评估和参数融合。模型参数值由局部参数价值矩阵和全局参数价值融合得到。局部参数价值矩阵是通过参数差来判断各位置参数的散度，而全局参数价值利用模型参数信息熵的大小来评估模型参数的总体值。模型参数融合的方法包括硬融合和软融合两种方式，可以根据其评价值来确定拼接模型中参数的值。通过这种算法，在大量的推荐模型和动态模型框架的数据集上，可以在不增加推理成本的情况下具有显著的优势。

公开(公告)号：CN118298279A

公开(公告)日：2024-07-05

申请号：CN202410468579.8

申请日：2024-04-18

Applicant: 上海浙江大学高等研究院

Inventor： 况琨 ,  唐子豪 ,  张圣宇 ,  陈静远 ,  吴飞

IPC: G06V10/82 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明公开了一种跨领域无源域数据的知识蒸馏方法、系统、介质及设备，包括：利用经过预训练教师模型先训练图像生成器再训练图像编码器同时预热学生模型，并利用各自的损失函数单独进行参数更新；利用图像生成器、图像编码器以及教师模型在学生域训练数据集上训练遮罩网络，再在学生域训练数据集上训练学生模型，通过阶段因子调节域特定信息损失和跨域知识蒸馏损失的权重；将待预测图像输入到训练好的学生模型中，得到待预测图像的分类标签。本发明通过无数据知识蒸馏网络、遮罩学习网络、课程学习网络，解决了在仅有目标域(学生域)数据而缺少源域(教师域)数据且源域和目标域存在较大偏移情况下，迁移教师模型知识的问题。

公开(公告)号：CN118658190A

公开(公告)日：2024-09-17

申请号：CN202410806081.8

申请日：2024-06-21

Applicant: 浙江大学 ,  上海浙江大学高等研究院 ,  上海人工智能创新中心

Inventor： 殷俊 ,  吴飞 ,  陈静远 ,  王舒蕾 ,  赵洲 ,  张圣宇 ,  朱小军

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/047 ,  G06N3/0499 ,  G06N3/09

Abstract: 本发明公开了一种基于端云协同的多模态融合的行人重识别方法与系统，该方法首先利用不确定性引导采样模块筛选出需要上传到云侧的行人图像。然后，采用多模态行人重识别网络，计算脸部和步态特征的加权平均值并生成自适应融合特征，通过全连接层和softmax函数进行特征分类。此外，本发明方法在云端优化视觉提示，实现了云侧基于提示学习的知识迁移。通过联合优化教师模型和学生模型，改善端侧学生模型的性能。最后，将云侧学习到的视觉提示传递到端侧，并应用于人脸图像和步态图像，以提高行人重识别的准确率。本发明有效地提升了跨外观行人重识别模型的检索性能，同时解决了网络在不同环境下的泛化问题。