公开(公告)号：CN119293170A

公开(公告)日：2025-01-10

申请号：CN202411353270.0

申请日：2024-09-26

Applicant: 清华大学 ,  杭州阿里云飞天信息技术有限公司

Inventor： 刘洋 ,  李鹏 ,  刘子君 ,  寇博群 ,  严明 ,  张佶 ,  黄非

IPC: G06F16/3329

Abstract: 本发明提供一种针对跨问询大语言模型回复可靠性评估的模型微调方法和装置，方法包括：获取样本问答对数据集；通过可靠性评估模型对目标问答对的回复可靠性进行评估，得到目标回复可靠性初始评估结果；通过可靠性评估模型对各样本问答对进行评估，得到样本回复可靠性评估结果；基于各样本问答对的回复可靠性标签信息，将目标回复可靠性初始评估结果与各样本问答对的样本回复可靠性评估结果进行比较；对各比较结果进行聚合，得到所述目标问答对的回复可靠性评估分数；对可靠性评估模型的参数进行微调，采用参数微调后的可靠性评估模型重复进行评估、比较和聚合，直至得到的目标问答对的回复可靠性评估分数达到预设指标。本发明能够使较弱的大语言模型在推理任务中有效评估大语言模型回复的可靠性。

公开(公告)号：CN119168074A

公开(公告)日：2024-12-20

申请号：CN202411042039.X

申请日：2024-07-31

Applicant: 清华大学 ,  杭州阿里云飞天信息技术有限公司

Inventor： 刘洋 ,  李鹏 ,  刘安 ,  杨宗瀚 ,  张真赫 ,  胡清源 ,  严明 ,  张佶 ,  黄非

IPC: G06N5/043 ,  G06N5/04 ,  G06N5/022 ,  G06F18/214

Abstract: 本发明提供一种基于偏好学习增强大语言模型的领域特定能力的方法及系统，包括：获取无标签数据，通过预设的领域专家模型对所述无标签数据进行推理，生成相应的输出分布；将所述输出分布输入至大语言模型，通过所述大语言模型基于输出分布生成偏好增强数据；对所述偏好增强数据进行汇总，整理为新的训练数据集，通过新的训练数据集对所述大语言模型进行微调；对微调后的大语言模型进行模型评估，基于评估结果对大语言模型进行二次调整，完成大语言模型的领域特定能力增强。本发明解决了现有大语言模型在特定领域生成文本不准确的问题。

公开(公告)号：CN119152520A

公开(公告)日：2024-12-17

申请号：CN202411153906.7

申请日：2024-08-21

Applicant: 清华大学 ,  杭州阿里云飞天信息技术有限公司

Inventor： 刘洋 ,  孙茂松 ,  李鹏 ,  王梓玥 ,  陈驰 ,  朱奕祺 ,  罗富文 ,  严明 ,  张佶 ,  黄非

IPC: G06V30/19 ,  G06V30/18

Abstract: 本发明提供一种基于图文全局信息的图文模型训练方法及系统，包括：获取原始的文本信息、多图范式和图像信息；将所述图像信息输入至预设的图文模型中的多图范式编码器生成多个图像的关联特征；将所述多图范式和图像信息输入至预设的图文模型中的图文语义转换器获取转换后的图像特征；将所述文本信息、所述多个图像的关联特征和转换后的图像特征输入至预设的图文模型中的大语言模型，对所述大语言模型进行训练，完成多图与视频图文之间的关联识别，得到训练后的多模态图文模型。本发明解决了现有图文模态之间存在数据壁垒，难以深入协同理解处理的问题。

公开(公告)号：CN117493509A

公开(公告)日：2024-02-02

申请号：CN202311435045.7

申请日：2023-10-30

Applicant: 杭州阿里云飞天信息技术有限公司

Inventor： 徐渊鸿 ,  胡若菲 ,  张建海 ,  冯泽宇 ,  李璇 ,  高星 ,  周弘 ,  付大卫 ,  邹玲 ,  张佶

IPC: G06F16/332 ,  G06F16/338 ,  G06F16/58 ,  G06N5/04 ,  G06N3/0455 ,  G06N3/044

Abstract: 本说明书实施例提供对话处理方法和表情图像生成方法，其中所述对话处理方法包括：获取初始对话文本；将初始对话文本输入目标对话模型，获得目标答复文本，其中，目标答复文本包括目标表情标签，目标对话模型基于预测答复文本和样本答复文本训练得到，预测答复文本为目标对话模型基于提示文本对样本对话文本进行对话预测得到，样本答复文本包括样本表情标签，提示文本用于提示目标对话模型对预测答复文本进行表情标签预测；根据目标表情标签，确定目标表情图像；基于目标表情图像，生成目标回复内容。预先训练得到的目标对话模型，预测得到包括表情标签的答复文本，确定了目标表情图像来生成丰富的目标回复内容，提升了对话的趣味性和用户体验。

公开(公告)号：CN113673256B

公开(公告)日：2024-08-27

申请号：CN202110825658.6

申请日：2021-07-21

Applicant: 杭州阿里云飞天信息技术有限公司

Inventor： 崔少波 ,  唐大怀 ,  赵中州 ,  张佶 ,  陈海青

IPC: G06F40/35 ,  G06F40/253

Abstract: 本公开实施例公开了一种问询语句改写方法及装置，所述问询语句改写方法包括：获取与原始问询信息相关的历史对话信息；基于历史对话信息获取历史上下文信息和历史意图信息；利用历史上下文信息和历史意图信息改写原始问询信息以得到目标问询信息；基于目标问询信息生成对应于原始问询信息的应答信息。该技术方案能够确保对应于原始问询信息的应答信息能够与用户唯一的真实意图匹配，提高了智能问答系统的可靠性。

公开(公告)号：CN119336477A

公开(公告)日：2025-01-21

申请号：CN202310828883.4

申请日：2023-07-06

Applicant: 杭州阿里云飞天信息技术有限公司

Inventor： 李晨亮 ,  田俊峰 ,  陈河宏 ,  严明 ,  成晨 ,  张佶 ,  黄非

IPC: G06F9/50 ,  G06F16/334

Abstract: 本说明书实施例提供任务处理方法以及任务处理系统，其中所述任务处理方法应用于任务处理平台中的服务单元，任务处理平台包括服务单元和多个处理组件，包括：接收任务处理请求，其中，任务处理请求携带待处理数据；将待处理数据和组件描述信息输入任务处理模型，确定任务处理请求对应的至少一个目标处理组件，其中，任务处理模型为深度学习模型；调用至少一个目标处理组件对待处理数据进行处理，获得任务处理请求对应的任务处理结果。通过将多个处理组件集成在任务处理平台上，从而可以直接调用至少一个目标处理组件处理待处理数据，提高了任务处理效率，并且通过多个处理组件可以扩展任务处理模型的处理能力，使得任务处理更加全面。

公开(公告)号：CN119961386A

公开(公告)日：2025-05-09

申请号：CN202311456162.1

申请日：2023-11-02

Applicant: 杭州阿里云飞天信息技术有限公司

Inventor： 叶晴昊 ,  徐海洋 ,  叶加博 ,  胡安文 ,  严明 ,  张佶 ,  黄非

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/338 ,  G06F18/214 ,  G06N3/0499

Abstract: 本说明书实施例提供对话处理、文本生成以及目标对话模型训练方法，其中对话处理方法包括：获取对话文本和对话关联数据，其中，对话关联数据与对话文本的模态不同；将对话文本和对话关联数据输入目标对话模型，获得对话关联数据对应的第一模态特征和对话文本对应的文本模态特征，其中，目标对话模型基于第一样本集对预训练对话模型进行对话任务训练得到，预训练对话模型基于第二样本集对初始对话模型中的第一编码单元和自适应单元中的第一模态参数进行文本预测任务训练得到；利用第一模态参数对第一模态特征进行处理，并利用文本模态参数对文本模态特征进行处理，获得多模态特征；根据多模态特征，生成对话文本对应的答复文本。

公开(公告)号：CN118070209A

公开(公告)日：2024-05-24

申请号：CN202311620129.8

申请日：2023-11-29

Applicant: 杭州阿里云飞天信息技术有限公司

Inventor： 胡安文 ,  史雅雅 ,  徐海洋 ,  严明 ,  张佶 ,  黄非

IPC: G06F18/25 ,  G06F18/22 ,  G06F18/214 ,  G06F18/20 ,  G06N20/00

Abstract: 本申请公开了一种多模态数据处理方法、电子设备及存储介质，涉及大模型技术、文本处理领域。其中，该方法包括：获取预设格式数据，以及与预设格式数据匹配的场景文本数据，其中，场景文本数据用于表征对预设格式数据的使用场景进行描述的文本数据；基于场景文本数据对预设格式数据进行识别，得到与预设格式数据匹配的总结文本数据，其中，总结文本数据用于表征对预设格式数据进行概括总结的文本数据；基于场景文本数据和总结文本数据对预设格式数据进行数据分析，得到与预设格式数据的分析文本数据，其中，分析文本数据用于表征对预设格式数据进行解释说明的文本数据。本申请解决了大型语言模型的图表分析准确度较低的技术问题。