公开(公告)号：CN119398121A

公开(公告)日：2025-02-07

申请号：CN202411646616.6

申请日：2024-11-18

Applicant: 西北工业大学

Inventor： 慕志颖 ,  高德宏 ,  马宇飞 ,  杨黎斌 ,  蔡晓妍 ,  郭森森 ,  李晓宇

IPC: G06N3/08 ,  G06N3/0442 ,  G06N3/042 ,  G06F17/10 ,  G06F17/16

Abstract: 本发明公开了一种基于Multi‑A和Multi‑B专家杂化混合专家的大模型微调方法，通过将LoRA网络嵌入到混合专家(MoE)架构中，利用Multi‑A和Multi‑B MoE捕捉不同任务之间的差异，从而显著提升大语言模型在多任务场景下的微调效率和综合性能。本发明适用于各种大语言模型，促进大语言模型在不同领域的应用，并为进一步探索参数高效的微调方法提供新的思路。

公开(公告)号：CN117708307B

公开(公告)日：2024-05-14

申请号：CN202410170139.4

申请日：2024-02-06

Applicant: 西北工业大学

Inventor： 王震 ,  高德宏 ,  马宇飞 ,  蔡晓妍 ,  杨黎斌

IPC: G06F16/332 ,  G06F16/953 ,  G06F18/214 ,  G06F18/25

Abstract: 本发明公开了一种大语言模型微调和Adapter融合方法及装置，涉及深度学习领域。用于解决现有多模态数据集的构建因需要人工进行数据收集导致消耗大且数据质量较差的问题。该方法包括：从设定网络平台上收集多个问答数据集和对话数据集；对问答数据集和对话数据集分别进行LoRA‑adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；得到问答数据集和对话数据集在理想状态下的理想损失函数、理想融合权重和第一理想参数；得到问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和最佳融合参数；根据问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和所述最佳融合参数得到通用LORA‑adapter。

公开(公告)号：CN119398122A

公开(公告)日：2025-02-07

申请号：CN202411646618.5

申请日：2024-11-18

Applicant: 西北工业大学

Inventor： 慕志颖 ,  高德宏 ,  马宇飞 ,  杨黎斌 ,  蔡晓妍 ,  郭森森 ,  李晓宇

IPC: G06N3/08 ,  G06N3/0464 ,  G06F17/16 ,  G06N3/042

Abstract: 本发明公开了一种基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法，通过整合通用专家和领域特定专家，并引入残差连接，以平衡模型对一般任务和领域特定任务的处理能力，提高性能和稳定性。本发明实现了参数高效的多任务学习和新领域适配。

公开(公告)号：CN117708307A

公开(公告)日：2024-03-15

申请号：CN202410170139.4

申请日：2024-02-06

Applicant: 西北工业大学

Inventor： 王震 ,  高德宏 ,  马宇飞 ,  蔡晓妍 ,  杨黎斌

IPC: G06F16/332 ,  G06F16/953 ,  G06F18/214 ,  G06F18/25

Abstract: 本发明公开了一种大语言模型微调和Adapter融合方法及装置，涉及深度学习领域。用于解决现有多模态数据集的构建因需要人工进行数据收集导致消耗大且数据质量较差的问题。该方法包括：从设定网络平台上收集多个问答数据集和对话数据集；对问答数据集和对话数据集分别进行LoRA‑adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；得到问答数据集和对话数据集在理想状态下的理想损失函数、理想融合权重和第一理想参数；得到问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和最佳融合参数；根据问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和所述最佳融合参数得到通用LORA‑adapter。