公开(公告)号：CN115640833A

公开(公告)日：2023-01-24

申请号：CN202211274717.6

申请日：2022-10-18

Applicant: 西安交通大学

Inventor： 杨晨 ,  孟依烁 ,  霍凯搏 ,  夏宇恒

IPC: G06N3/0464 ,  G06N3/063

Abstract: 本发明面向稀疏卷积神经网络的加速方法，包括：S1，根据稀疏卷积神经网络中稀疏卷积核的非零权重的重要性，将稀疏卷积核中的非零权重进行聚集和重排，得到重排卷积核；S2，根据重排卷积核中非零权重的索引对输入块进行扩张，得到扩张输入块；S3，对扩张输入块中的特征图子块进行累加，得到累加块，将累加块与重排卷积核进行卷积运算并取平均值，得到卷积结果；或者，根据扩张输入块中特征图子块的重要性对特征图子块进行筛选，得到候选块，将候选块与重排卷积核进行卷积运算，得到卷积结果。本发明在改善网络结构的同时能大幅度降低稀疏卷积神经网络模型中的冗余运算量。

公开(公告)号：CN119047513A

公开(公告)日：2024-11-29

申请号：CN202411138208.X

申请日：2024-08-19

Applicant: 西安交通大学

Inventor： 杨晨 ,  夏宇恒 ,  陈宇杰 ,  孟依烁

IPC: G06N3/0455 ,  G06F18/22 ,  G06F16/9035

Abstract: 本发明提供一种基于局部敏感哈希的Transformer硬件加速器及加速方法。本发明基于局部敏感哈希的Transformer加速方法，采用基于MinHash算法的局部敏感哈希筛选方案，MinHash算法能实现向量降维，从而在获取比较好的Q‑K向量对筛选效果的情况下，降低局部敏感哈希筛选的运算量，提高加速效率，更利用硬件实现。本发明基于局部敏感哈希的Transformer硬件加速器，针对Transformer网络自注意力机制运算特点所带来的硬件实现瓶颈问题，采用基于MinHash文本相似度算法的LSH筛选方案，不但能获取比较好的Q‑K向量对筛选效果，且效率高，硬件结构易于实现。