Patent search ap:("中国科学院计算技术研究所") AND inv:"刘小蒙" Page 1

1.

发明公开
一种相对位置编码方法及系统审中-实审

公开(公告)号：CN114417847A

公开(公告)日：2022-04-29

申请号：CN202111595100.X

申请日：2021-12-24

Applicant: 中国科学院计算技术研究所

Inventor： 杜子东 , 戴文娟 , 孙正 , 刘小蒙

IPC: G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08

Abstract: 本发明提出一种相对位置编码方法和系统，包括：构建包括多头注意层的递归神经网络，获取待相对位置编码的数据序列，将该数据序列进行拆分后并行输入该多头注意层，该多头注意层通过计算拆分后数据在该数据序列中的相对位置，为每一个拆分后数据分配注意力分数，并基于各拆分后数据对应的注意力分数，生成各拆分后数据的相对位置编码。

Patent Agency Ranking