Patent search ap:("支付宝(杭州)信息技术有限公司") AND inv:"郭昱宇" Page 1

1.

发明公开
利用多模态大模型处理多模态数据的方法及装置审中-公开

公开(公告)号：CN120068940A

公开(公告)日：2025-05-30

申请号：CN202510225325.8

申请日：2025-02-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 郭昱宇 , 余航 , 李建国

IPC: G06N3/045 , G06F17/16 , G06F18/25 , G06F18/214 , G06N3/08 , G06N5/04 , G06V10/40

Abstract: 本说明书实施例提供一种利用多模态大模型处理多模态数据的方法，该多模态大模型中包括大语言模型，该大语言模型包括多个注意力头，多个注意力头对应于不同的掩码矩阵，该方法包括：利用多个注意力头中的目标注意力头对多个表征向量进行注意力处理，得到初始注意力矩阵，该多个表征向量包括，输入图像对应的若干图像表征，以及输入文本对应的若干文本表征。利用目标注意力头对应的目标掩码矩阵对初始注意力矩阵进行掩码处理，得到更新注意力矩阵，目标掩码矩阵在行号小于列号的若干目标位置具有有效值。

Patent Agency Ranking