-
公开(公告)号:CN116128737B
公开(公告)日:2023-06-27
申请号:CN202310420888.3
申请日:2023-04-19
Applicant: 南京大学
IPC: G06T3/40 , G06T1/40 , H04N19/117 , H04N19/124 , H04N19/176 , H04N19/436 , H04N19/625 , H04N19/91 , H04N19/93
Abstract: 本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置,包括压缩模块和解压缩模块;所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块、压缩编码模块;所述特征图张量切块与重排模块用于为空间二维分块,分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理;所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间;本发明利用特定压缩方案处理深度神经网络传输的特征图,在图像超分网络上可提高其鲁棒性。实现神经网络在端侧设备部署时,在提升模型安全性能同时,缓解特征图传输带来的带宽压力,降低传输功耗。
-
公开(公告)号:CN108021537B
公开(公告)日:2022-09-16
申请号:CN201810016954.X
申请日:2018-01-05
Applicant: 南京大学
IPC: G06F17/15
Abstract: 本发明公开了一种基于各种硬件平台(CPLD、FPGA、专用芯片等)的softmax函数计算方法。softmax函数广泛应用于深度学习的多分类任务及注意力模型等,其中涉及到的e指数及除法计算需要消耗较大的硬件资源。设计方法通过对函数进行简单变换,将其中的e指数计算简化为一次常数乘法、一个输入范围固定的2的指数次运算、一次移位运算;将n次除法运算的简化为一次“最高位1检测运算”,一次输入范围固定的倒数运算,一次移位运算及n次乘法运算。其中2指数及倒数运算以特殊设计的查找表实现,使得更小的存储空间可实现同样精度。将本发明用在深度学习注意力模型等中,可以在精度几乎不受损的前提下大大提高计算速度,减少计算资源的消耗。
-
公开(公告)号:CN112633402B
公开(公告)日:2024-05-03
申请号:CN202011607740.3
申请日:2020-12-30
Applicant: 南京大学
IPC: G06V10/764 , G06V10/82 , G06N3/045 , G06N3/084
Abstract: 本申请涉及神经网络技术领域,提供一种实现动态计算的高精度高比例的分类模型及分类方法,高精度高比例的分类模型包括主干网络模型和至少一个第一分支网络模型;主干网络模型包括输入端、输出端和多个中间层,在多个中间层的1/4‑1/3的层数之间,插入第一分支网络模型;第一分支网络模型包括分类模块和置信度确定模块。在实际应用过程中,分类模块用于产生插入处的分类输出,置信度确定模块用于判断分类输出是否满足精度要求,若满足精度要求,则高精度高比例的分类模型在第一分支网络模型的输出端提前退出,若不满足精度要求,则放弃分类模块产生的分类输出,并返回主干网络模型的中间层,继续完成分类运算。
-
公开(公告)号:CN112712126B
公开(公告)日:2024-03-19
申请号:CN202110009127.X
申请日:2021-01-05
Applicant: 南京大学
Abstract: 本申请提供了一种图片识别方法,该方法采用预先训练好的图片识别模型,图片识别模型包括:主网络、分支网络、分支点以及第一处理模块;主网络为任意一种卷积神经网络模型;分支点设置于预定位置处;分支网络包括预设层数并且预设通道宽度的分支网络卷积层;预设层数以及预设通道宽度根据主网络中的下采样层确定;图片识别方法包括:主网络对待识别图片进行第一特征处理,得到第一处理图片;分支网络对第一处理图片进行识别,确定分支识别结果;第一处理模块接收分支网络输出的分支识别结果,并根据分支识别结果与分支识别结果的极大值位置确定交叉熵;如果交叉熵小于预设阈值,则输出分支识别结果。本申请提供的方法提高了图片识别精度。
-
公开(公告)号:CN116128737A
公开(公告)日:2023-05-16
申请号:CN202310420888.3
申请日:2023-04-19
Applicant: 南京大学
IPC: G06T3/40 , G06T1/40 , H04N19/117 , H04N19/124 , H04N19/176 , H04N19/436 , H04N19/625 , H04N19/91 , H04N19/93
Abstract: 本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置,包括压缩模块和解压缩模块;所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块、压缩编码模块;所述特征图张量切块与重排模块用于为空间二维分块,分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理;所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间;本发明利用特定压缩方案处理深度神经网络传输的特征图,在图像超分网络上可提高其鲁棒性。实现神经网络在端侧设备部署时,在提升模型安全性能同时,缓解特征图传输带来的带宽压力,降低传输功耗。
-
公开(公告)号:CN115908844A
公开(公告)日:2023-04-04
申请号:CN202211394271.0
申请日:2022-11-08
Applicant: 南京大学
IPC: G06V10/44 , G06N3/0464 , G06V10/82 , G06N3/063 , G06N3/082
Abstract: 本申请公开了一种神经网络处理单元的特征图处理方法和装置,该装置用于执行该方法,该方法包括特征图压缩过程和特征图还原过程,特征图压缩过程包括获取特征图切块、线性正交变换、定点量化和压缩编码处理步骤,从而获取待处理的特征图的压缩数据,压缩数据存入内存单元中,这样计算机系统便于直接与内存单元中压缩数据进行传输交互,有利于减少数据处理量,降低硬件能耗。当压缩数据被计算机系统调取使用完成后,需要将特征图还原,得到还原数据,此过程为上述方法的特征图还原过程,特征图还原过程包括压缩解码处理、定点量化的逆变换、线性正交变换的逆变换、特征图切块还原,从而获取特征图的原始数据,便于进行其他运算。
-
公开(公告)号:CN114742216A
公开(公告)日:2022-07-12
申请号:CN202210412651.6
申请日:2022-04-19
Applicant: 南京大学
Abstract: 本申请公开了一种基于反向流水线的异构训练加速器,该加速器包括数据模块、控制模块和计算模块;控制模块控制BP阶段前向反向计算核执行第一通道的卷积运算,并控制所述归一池化计算核对卷积运算结果进行处理,得到当前卷积层的第一通道的第一输出误差,并将第一输出误差传入WG计算核,同时控制WG计算核根据第一输出误差以及前一卷积层的第一通道的输入值,执行深度神经网络的WG阶段所对应的卷积运算。该加速器BP和WG过程的流水线并行处理,降低了系统延时、避免了数据在不同层级存储的额外传输,降低了功耗,同时其异构架构设计可以实现对不同类型的计算单独优化,提高能耗比和加速比。
-
公开(公告)号:CN106971748A
公开(公告)日:2017-07-21
申请号:CN201710310719.9
申请日:2017-05-05
Applicant: 南京大学
CPC classification number: G11B19/027 , G11B20/10018
Abstract: 本发明所公开的基于三维立体结构的音乐播放系统及方法,用于交互演奏或乐音播放。该系统包括主机、多个呈三维立体状分布的感应单元、以及连接主机和各感应单元的总线,各感应单元包括电容感应元件及与电容感应元件电连接的子处理器,当电容感应元件电容发生改变时输出感应信号并发送至感应单元中的子处理器,子处理器若判断有触碰或靠近的动作信号时产生乐音触发指令,并将乐音触发指令通过总线传输至主机;主机包括处理器和乐音播放模块,处理器接收到来自各感应单元发出的乐音触发指令后,控制乐音播放模块进行播放相应音乐。通过该系统及方法优化现有近似产品的结构和可靠性,降低制作成本,增强用户体验。
-
公开(公告)号:CN114663292B
公开(公告)日:2025-04-01
申请号:CN202011527239.6
申请日:2020-12-22
Applicant: 南京大学
IPC: G06T5/73 , G06T5/60 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0475 , G06N3/094 , G06N3/0464
Abstract: 本申请公开了超轻量级图片去雾及识别网络模型,通过该网络模型实现了图片去雾及识别,包括依次相接的双向GAN网络模型以及目标检测网络模型。双向GAN网络模型对雾图进行去雾,输出清晰图至目标检测网络模型进行特征识别处理。目标检测网络模型经过行剪枝重训练,训练过程为对训练集的原始图像进行多次训练,每次训练之前,对原始图像进行预设倍数降采样,每次训练完后,对批归一化层的缩放系数进行排序比较,将其中缩放系数小于预设缩放阈值的通道对应的前一层卷积核去掉,实现剪枝。上述目标检测网络模型在目前微型识别模型的基础上进一步剪枝,极大减小超轻量级图片去雾及识别网络模型的规模,可以部署在算力和功耗资源有限的端侧平台。
-
公开(公告)号:CN114118344A
公开(公告)日:2022-03-01
申请号:CN202010900182.3
申请日:2020-08-31
Applicant: 南京大学
Abstract: 本申请公开了应用于Transformer神经网络的硬件加速器及其计算方法,该硬件加速器包括:数据存储模块、脉动阵列模块、偏置相加模块、点积注意力函数运算模块、激活函数运算模块、残差相加模块、层归一化函数运算模块及控制模块。脉动阵列模块包括多个用于执行矩阵计算的基本运算单元,控制模块用于控制硬件加速器的计算流程。基于能够执行Transformer神经网络中所有矩阵计算的脉动阵列模块,上述硬件加速器可有效提高Transformer神经网络的运算速度及效率。
-
-
-
-
-
-
-
-
-