本发明公开面向非结构化稀疏的动态匹配非零值的神经网络加速器，属于计算、推算或计数的技术领域。加速器架构包括：处理模块、负载平衡模块、后处理模块、稀疏编码模块、控制单元、输入缓存模块、权重缓存模块、输出缓存模块。通过稀疏编码模块对输入激活张量进行片上编码，避免对无效数据的存储及搬运，从而提高加速器整体能效。负载平衡模块对稀疏张量进行标记后动态分配，有效缓解输入激活张量不规整造成的计算单元负载不均衡问题。PE的非零值匹配单元通过bitmap索引高效匹配非零对，同时利用了权重和激活两方面的稀疏性，跳过零值参与的无效计算从而增加处理效率，从而实现对非结构化稀疏的神经网络的高效推理。