公开(公告)号：CN118708708A

公开(公告)日：2024-09-27

申请号：CN202410722875.6

申请日：2024-06-05

Applicant: 浙江大学

Inventor： 戴振龙 ,  姚畅 ,  陈静远

IPC: G06F16/335 ,  G06F18/2415 ,  G06F18/214

Abstract: 本发明公开了一种基于大语言模型的通用个性化生成方法。1)将需要学习的个性化文本数据输入大语言模型的嵌入层得到文本嵌入；2)基于步骤1)的文本嵌入与一组可学习个性化表示与进行拼接得到个性化嵌入；3)基于大语言模型LLM构建个性化生成模型结构，个性化生成模型结构包括LLM层和基于风格适配器的输出层；4)对个性化生成模型进行训练；5)使用步骤4)训练好的个性化生成模型，基于输入文本，续写生成与训练数据风格一致的个性化文本。本发明提供了一种基于大语言模型的通用个性化生成方法。本发明的目的在于设计了一种利用可学习个性化表示的风格适配器，与原有大语言模型的输出层协作，输出与训练数据风格一致的个性化文本。

公开(公告)号：CN118733045A

公开(公告)日：2024-10-01

申请号：CN202410722876.0

申请日：2024-06-05

Applicant: 浙江大学

Inventor： 戴振龙 ,  姚畅 ,  陈静远

IPC: G06F8/41 ,  G06F18/214

Abstract: 本发明公开了一种基于残差学习的个性化代码生成系统及方法。1)收集编程语言的代码片段数据集，通过代码检测工具收集得到对应代码片段的风格序列；2)基于步骤1)的代码与其对应的风格序列设置残差项，生成用于残差学习的训练数据；3)为每个代码风格规范设置一个可学习的向量表示；4)通过LLM构建残差学习框架；5)通过步骤4)的残差学习框架进行残差学习得到每个代码风格规范的向量表示；6)通过代码检测工具得到待生成代码的风格序列，使用训练好的代码风格规范的向量表示，生成与历史代码风格一致的个性化代码。本发明通过残差学习到的代码特征进行组合形成开发者的代码风格，并通过代码风格特征指导大语言模型生成个性化代码。

公开(公告)号：CN117057351A

公开(公告)日：2023-11-14

申请号：CN202311009614.1

申请日：2023-08-11

Applicant: 浙江大学

Inventor： 戴振龙 ,  姚畅

IPC: G06F40/295 ,  G06F40/289 ,  G06F40/126 ,  G06F18/214 ,  G06F18/2415 ,  G06F16/35 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明公开了一种医疗命名实体识别的统一解决方法。包括：1)将公开的医疗数据集生成模型训练数据集；2)基于步骤1)数据集中的医疗文本信息得到词与Token的位置映射关系；3)对实体进行统一编码，得到编码矩阵；4)构建统一模型；5)通过步骤3)编码矩阵和对应的医疗文本训练统一模型；6)使用步骤4)训练好的统一模型生成医疗文本对应的特征矩阵；7)使用步骤6)得到的特征矩阵以及步骤2)得到的词与Token的位置映射关系进行解码。本发明设计了一种通过特征矩阵来识别平面、重叠(嵌套)和不连续的命名实体的统一编码和解码方案，以此帮助在医疗领域同时识别多种命名实体。

公开(公告)号：CN118228734A

公开(公告)日：2024-06-21

申请号：CN202410266524.9

申请日：2024-03-08

Applicant: 浙江大学

Inventor： 梁国艳 ,  戴振龙 ,  崔奥明 ,  王贵宣 ,  陈静远 ,  宛袁玉 ,  姚畅

IPC: G06F40/30 ,  G06F18/22 ,  G06F17/16 ,  G06N3/04 ,  G06N3/084 ,  G06F18/25

Abstract: 本发明公开了一种基于大语言模型做数据增强的医学术语归一化方法。1)将中文医学术语归一化数据集中的数据经过数据清洗得到标准化的原始数据；2)基于步骤1)得到的标准化的原始数据采用大语言模型做数据增强，得到增强数据：3)构建Med‑Term‑Norm神经网络模型；4)训练步骤3)的神经网络模型；5)使用训练好的神经网络模型对输入的提及进行预测，将提及归一化为与之最接近的术语。本发明将大量的先验知识通过大语言模型和预训练模型BERT的形式引入到Med‑Term‑Norm神经网络模型中，解决了词汇缺乏上下文语境的问题；此外，本发明可以利用训练好的神经网络模型对输入的提及进行归一化术语的预测。