公开(公告)号：CN119443280A

公开(公告)日：2025-02-14

申请号：CN202411565459.6

申请日：2024-11-05

Applicant: 南京大学

Inventor： 傅玉祥 ,  谢雨昊 ,  李丽 ,  戴晨阳 ,  范文杰 ,  刘亦锦 ,  张璐 ,  李峰

IPC: G06N5/04 ,  H04L49/109 ,  G06F15/78

Abstract: 本发明公开了基于协同近似策略的片上网络AI推理系统、方法及设备，属于片上网络通信技术领域，其技术方案要点是包括至少一个第一近似处理核心和至少一个第二近似处理核心；第一近似处理核心用于对当前分配的计算任务单元进行近似计算得到近似计算结果并生成原始数据包，并根据近似计算与非近似计算的算法误差，对原始数据包进行截位处理，得到近似数据包，最后将近似数据包通过对应的路由单元，发送至接收该近似数据包的处理核心对应的路由单元；第二近似处理核心用于接收一近似数据包，并根据近似数据包的头包信息，对近似数据包进行数据恢复，得到恢复数据包，本发明采用协同近似策略，在极低的推理精度损失下，最大程度保证了能效的提升。

公开(公告)号：CN115550235B

公开(公告)日：2024-02-09

申请号：CN202211014355.7

申请日：2022-08-23

Applicant: 南京大学

Inventor： 李丽 ,  周世泽 ,  傅玉祥 ,  范文杰 ,  朱凌晓 ,  李伟 ,  何书专

IPC: H04L45/00 ,  H04L45/586 ,  H04L45/60

Abstract: 本发明公开一种面向神经网络平台的单周期路由器，属于片上网络技术领域。本发明基于XY维序路由算法，根据切片可能前往的输出方向为不同端口的输入缓冲区分配异构的虚通道；在路由器中设有虚通道标识更新单元，通过虚通道标识更新提前判断切片在下一跳路由写入的虚通道即下一跳路由的输出方向，并更新其通道标识位，该逻辑时序开销隐藏在切片的线传输延时中。本发明通过对不同向通信流量的异构处理，简化了仲裁单元的数量和结构，降低了仲裁逻辑的时序开销，优化了路由流水线，有效降低片上网络的通信延时，改善网络扩展带来的延时上升情况，实现了单切片快速通行的方案，具有良好的使用价值和广泛的应用前景。

公开(公告)号：CN117311663A

公开(公告)日：2023-12-29

申请号：CN202311305768.5

申请日：2023-10-10

Applicant: 南京大学

Inventor： 傅玉祥 ,  戴晨阳 ,  李丽 ,  刘传柱 ,  朱凌晓 ,  范文杰 ,  高亨粤 ,  赵启越 ,  袁江涛 ,  黎思越

IPC: G06F7/498 ,  G06N3/063 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于神经网络激活分布的可重构近似乘累加单元，具体包括乘法模块，包括：编码器，将神经网络的激活输入和权重输入进行radix‑8 booth编码，生成对应的部分积选择信号；部分积生成器，根据部分积选择信号，生成部分积；第一加法器，将部分积按照从上到下的顺序进行累加，得到乘法结果；加法模块，包括：分类器，根据所述乘法结果的高位进行分类，分为大数和小数；压缩器，将大数进行精确压缩，将小数进行近似压缩；第二加法器，将压缩结果通过第二加法器相加，得到卷积结果。本发明在不损失太多精度的前提下有效地减少神经网络中计算单元的功耗和延时，并且能够动态的适应不同的网络类型，有着良好的实际应用价值。

公开(公告)号：CN117076380A

公开(公告)日：2023-11-17

申请号：CN202311043803.0

申请日：2023-08-18

Applicant: 南京大学

Inventor： 李丽 ,  范文杰 ,  傅玉祥 ,  黎思越 ,  袁江涛 ,  朱凌晓 ,  李伟 ,  何书专

IPC: G06F15/173 ,  G06N3/063

Abstract: 本发明公开了一种面向基于片上网络的神经网络加速器的同步感知仲裁模块，包括优先级产生模块，集成在处理单元中，接收数据包发送有效信号，根据处理单元的剩余数据包数目为数据包分配优先级，生成对应的层标识；同步感知仲裁模块，集成在路由器中，接收数据包携带的优先级和层标识，进行层间通信同步感知仲裁。本发明针对基于片上网络的神经网络加速器中由多对一和多对多流量带来的通信同步问题，通过相邻层数据包的同步感知优先级仲裁实现了对源节点的反压调控，通过负反馈机制动态调节各个源节点的发包速率，实现层与层之间的通信同步，减小了层与层之间的传输延迟，并最终减少了神经网络的总推理时间。

公开(公告)号：CN119474000A

公开(公告)日：2025-02-18

申请号：CN202411507882.0

申请日：2024-10-28

Applicant: 南京大学

Inventor： 傅玉祥 ,  刘传柱 ,  黎思越 ,  范文杰 ,  张恒 ,  戴晨阳 ,  李丽 ,  李伟 ,  何书专

IPC: G06F15/78 ,  G06F15/173 ,  G06F7/544 ,  G06N3/063 ,  G06N3/0464

Abstract: 本发明涉及近似片上网络技术领域，公开了一种面向卷积神经网络加速的高实时性近似片上网络，结合神经网络的数据分布情况，提出基于数据分级的近似压缩和分段恢复方案，实现在降低通信开销的同时，保持神经网络推理精度；并提出一个质量控制模型，该模型能够快速搜索出满足质量损失约束的神经网络各层阈值，确保网络在进行近似通信的同时保持准确性；进一步提出基于拥塞感知的阈值动态调整方案，通过感知网络中的拥塞情况，动态调整每一层的近似阈值，以实现对数据压缩率的实时优化，从而有效缓解通信网络中的拥塞问题；结合近似通信后网络中的激活数据分布特征，优化计算阵列中的近似计算模块，提升计算阵列的整体效率，实现计算加速。

公开(公告)号：CN115550235A

公开(公告)日：2022-12-30

申请号：CN202211014355.7

申请日：2022-08-23

Applicant: 南京大学

Inventor： 李丽 ,  周世泽 ,  傅玉祥 ,  范文杰 ,  朱凌晓 ,  李伟 ,  何书专

IPC: H04L45/00 ,  H04L45/586 ,  H04L45/60

Abstract: 本发明公开一种面向神经网络平台的单周期路由器，属于片上网络技术领域。本发明基于XY维序路由算法，根据切片可能前往的输出方向为不同端口的输入缓冲区分配异构的虚通道；在路由器中设有虚通道标识更新单元，通过虚通道标识更新提前判断切片在下一跳路由写入的虚通道即下一跳路由的输出方向，并更新其通道标识位，该逻辑时序开销隐藏在切片的线传输延时中。本发明通过对不同向通信流量的异构处理，简化了仲裁单元的数量和结构，降低了仲裁逻辑的时序开销，优化了路由流水线，有效降低片上网络的通信延时，改善网络扩展带来的延时上升情况，实现了单切片快速通行的方案，具有良好的使用价值和广泛的应用前景。