Patent search ap:("厦门四信通信科技有限公司") AND inv:"蔡荣波" Page 1

1.

发明公开
一种大模型自注意力优化方法、装置、设备及介质审中-实审

公开(公告)号：CN119443183A

公开(公告)日：2025-02-14

申请号：CN202510025947.6

申请日：2025-01-08

Applicant: 厦门四信通信科技有限公司

Inventor： 唐仕斌 , 蓝发财 , 彭府 , 王志强 , 蔡荣波 , 林建立 , 王文荣

IPC: G06N3/08 , G06N5/04

Abstract: 本发明提供的一种大模型自注意力优化方法、装置、设备及介质，涉及人工智能技术领域。本发明通过获取输入序列经大模型自注意力结构后得到的KQ大矩阵，将KQ大矩阵分成若干个KQ小矩阵；对每个KQ小矩阵进行局部注意力计算，并与其他KQ小矩阵进行相似度的降序排序，得到排序列表；对于输入序列中的每个元素，根据计算出的排序列表，选取相似度排名前r中的KQ小矩阵对应的局部注意力进行加权计算，作为当前元素的注意力表示，直到完成所述输入序列的全部元素，得到所述输入序列优化后的注意力结果。本发明不仅降低了模型的计算复杂度，而且能捕捉远距离的上下文信息，提高了模型的准确性。

Patent Agency Ranking