公开(公告)号：CN116306854A

公开(公告)日：2023-06-23

申请号：CN202310320560.4

申请日：2023-03-29

Applicant: 南京大学

Inventor： 王宇宣 ,  武元辰 ,  傅高鸣 ,  梅正宇 ,  彭成磊 ,  潘红兵

IPC: G06N3/063 ,  G06F18/24 ,  G06N3/04 ,  G06N3/0499 ,  G06N3/047

Abstract: 本发明提供了一种基于光电存算一体器件的transformer神经网络加速装置及其方法。该装置包括：(1)编码模块包括：多头注意力计算子模块，用于对输入向量执行多头注意力计算操作；前馈全连接层子模块，用于执行全连接操作以及线性整流操作；加法单元，用于将上级模块中的输入向量与输出向量相加；归一化子模块，用于对来自加法单元的输入向量执行归一化操作；(2)译码模块包括：多头注意力计算子模块、前馈全连接层子模块、加法单元和归一化子模块；(3)分类预测模块，用于对上级模块输出的一维向量执行全连接操作，并执行分类输出操作。本发明的装置能够加速实现transformer神经网络，还能够极大地降低硬件架构的功耗、面积以及计算延迟。

公开(公告)号：CN116152120A

公开(公告)日：2023-05-23

申请号：CN202310426401.2

申请日：2023-04-20

Applicant: 南京大学

Inventor： 彭成磊 ,  苏鸿丽 ,  洪宇宸 ,  刘知豪 ,  王宇宣 ,  潘红兵

IPC: G06T5/00 ,  G06V10/80 ,  G06V10/82 ,  G06V10/56 ,  G06V10/54 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种融合高低频特征信息的低光图像增强方法及装置，属于计算机视觉领域和图像处理领域。本发明方法包括：S1、采集RGB格式的正常光‑低光图像对；S2、对采集到的低光图像分解为光照分量Ilow和反射分量Rlow；S3、对得到的光照分量和反射分量分解为三级拉普拉斯金字塔；S4、分别对光照分量和反射分量的三级拉普拉斯金字塔图像依次输入到三个分支网络中得到增强后的光照分量和反射分量；S5、对和进行逐通道逐像素相乘操作得到低光增强后的正常光图像；其推理步骤包括上述步骤S2‑S5。本发明利用双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA，实现能有效抑制噪声和增强纹理细节的高质量低光图像增强。

公开(公告)号：CN110647983B

公开(公告)日：2023-03-24

申请号：CN201910944467.4

申请日：2019-09-30

Applicant: 南京大学

Inventor： 潘红兵 ,  娄胜 ,  王宇宣

IPC: G06N3/063 ,  G06N3/0895 ,  G06N3/084 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06T1/40 ,  G06T5/00

Abstract: 本发明公开了一种基于存算一体器件阵列的自监督学习的加速系统及方法。该加速系统包括缓存模块、计算阵列、权重输入模块、辅助电路、控制模块和参数更新模块；缓存模块、计算阵列和参数更新模块依次相连；权重输入模块与计算阵列相连接，用于更新计算阵列；控制模块分别与缓存模块、权重输入模块、计算阵列和参数更新模块连接；计算阵列和辅助电路用于完成对自监督神经网络的运算。本发明借助存算一体计算阵列的面积和功耗优势，实现了一种自监督学习的加速系统和方法，相比现有利用图形计算显卡和传统数字电路的处理系统，可以节省大量的能耗和产品体积。

公开(公告)号：CN115688895A

公开(公告)日：2023-02-03

申请号：CN202211353397.3

申请日：2022-11-01

Applicant: 南京大学

Inventor： 王宇宣 ,  孙晓磊 ,  梅正宇 ,  时云凿 ,  潘红兵

IPC: G06N3/063 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种卷积神经网络的比特分割方法及装置。该方法的步骤包括：步骤1，对神经网络模型进行量化，将数据类型为32位浮点数的输入数据量化为8位定点数的数据类型；步骤2，将步骤1得到的高精度量化结果分割为多条位路径进行传播；步骤3，来自每个比特的特征映射图被单独卷积，但权重参数相同；步骤4，将每个位路径的卷积结果累加起来，生成一个用于分类的特征图。本发明的方法应用在神经网络可使其所需的硬件资源大大减小，保持硬件友好特性，并提高运算速度。

公开(公告)号：CN115456903A

公开(公告)日：2022-12-09

申请号：CN202211166825.1

申请日：2022-09-23

Applicant: 南京大学

Inventor： 彭成磊 ,  刘知豪 ,  岳涛 ,  潘红兵 ,  王宇宣

IPC: G06T5/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明提供一种基于深度学习的全彩夜间视觉增强方法和系统。该方法包括以下步骤：S1、采集各种环境光照度下的RAW格式图像序列信息；S2、预处理RAW格式图像序列，获得像素融合之后的RGB格式图像序列；S3、获取黑电平图像，去除黑电平；S4、根据图像典型区域亮度线性提亮；S5、通过带有门控循环单元的去噪网络获取去噪后的图像序列；S6、恢复初始亮度；S7、通过自监督的循环卷积神经网络自适应调整图像序列的亮度。本发明使用长时序信息对图像序列去噪，能够有效去除10‑3Lux左右环境下采集的图像噪声，提高图像信噪比。

公开(公告)号：CN115393227A

公开(公告)日：2022-11-25

申请号：CN202211164856.3

申请日：2022-09-23

Applicant: 南京大学

Inventor： 彭成磊 ,  刘知豪 ,  岳涛 ,  潘红兵 ,  王宇宣

IPC: G06T5/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开一种基于深度学习的微光全彩视频图像自适应增强方法及系统。其方法步骤为：S1采集RAW格式视频图像序列；S2像素融合，将RAW数据转化为RGB数据；S3获取黑电平图像，去除黑电平；S4自适应线性调整亮度；S5使用包含门控循环单元的去噪网络去除图像序列的噪声；S6将去噪后的图像非线性映射为多曝光图像组；S7将多曝光图像组序列输入融合网络，得到输出图像序列。本发明使用门控循环单元充分利用视频帧间的冗余信息去噪，能够有效去除最低10‑3Lux照度环境下采集的图像中的噪声，提高图像信噪比，使用自监督的图像融合模块融合多曝光图像组，有效增强图像暗部细节并抑制过曝区域，使输出视频序列亮度稳定。

公开(公告)号：CN108763653B

公开(公告)日：2022-04-22

申请号：CN201810412917.0

申请日：2018-04-30

Applicant: 南京大学

Inventor： 潘红兵 ,  苏岩 ,  秦子迪 ,  何书专 ,  李丽 ,  李伟

IPC: G06F30/331

Abstract: 本发明提供了的基于FPGA的可重构线性方程组求解加速器，包括：数据分配模块，用于将内部存储器中的数据分配给计算阵列模块,根据输入系数矩阵的规模和类型，在主控制模块的控制下调整数据分配的方式；主程序控制模块，用于控制数据分配模块、重构控制模块和计算阵列模块的运行以及各模块之间的通信；重构控制模块，用于根据系数矩阵的规模和类型重新设置计算方式；内部存储器模块，用于存储系数矩阵和向量数据；计算阵列模块，用于计算线性方程组的解。发明设计的重构方法可以同时调整数据的存储和传输方式，在对运算资源和运算精度不同需求的场景下可采用不同的运算模式，相比于现有的线性方程组求解加速器，具有更好的通用性。

公开(公告)号：CN108665063B

公开(公告)日：2022-03-18

申请号：CN201810480881.X

申请日：2018-05-18

Applicant: 南京大学

Inventor： 潘红兵 ,  查羿 ,  王宇宣 ,  朱杏伟 ,  秦子迪 ,  姚鑫 ,  李丽 ,  何书专 ,  李伟

IPC: G06N3/063

Abstract: 本发明提供了一种用于BNN硬件加速器的双向数据级并行处理卷积加速系统包括：存储单元，用于存储输入的激励数据、卷积核参数以及该层卷积运算结束后的结果；运算控制器，控制各个卷积层之间数据的传递、激励的输入与读取卷积核参数的读取、参数运算以及计算结果的存储；卷积运算模块，根据所述控制器指令，读取缓冲单元里的数据和参数，完成卷积操作；数据搬运模块，根据运算控制器的配置信息，将所有参数与激励数据从片外DDR搬运至片上存储器。通过增加运算资源和数据存储资源的开销，大大提高了运算吞吐率。

公开(公告)号：CN112230709A

公开(公告)日：2021-01-15

申请号：CN202011112962.8

申请日：2020-10-16

Applicant: 南京大学

Inventor： 潘红兵 ,  李张南 ,  顾郅扬 ,  柴智 ,  胡心怡 ,  王子豪 ,  沈凡翔 ,  王凯 ,  王宇宣

IPC: G06E3/00 ,  G02B5/20 ,  H01L27/32

Abstract: 本发明公开了一种可实现高精度光输入的光电计算装置及校准方法。其装置包括发光阵列、光电计算阵列和光学调制机构，发光阵列由多个发光单元周期性排列组成，光电计算阵列由多个光电计算单元周期性排列组成，光学调制机构用于对发光单元发出的光子进行调制；光电计算装置还包括辅助对准机构，辅助对准机构使得发光单元发出的光子经过光学调制机构后能够入射在计算关系上与发光单元相对应的光电计算单元中；辅助对准机构包括至少一个可成像阵列，可成像阵列与发光阵列或光电计算阵列二者之一在整个装置的光路中相对于另一者具有对易性。本发明不仅可以提高光输入的精度，而且可以方便地进行现场校准或调焦。

公开(公告)号：CN107193784B

公开(公告)日：2020-11-20

申请号：CN201710351440.5

申请日：2017-05-17

Applicant: 南京大学

Inventor： 李丽 ,  钱昕伟 ,  李宏炜 ,  潘红兵 ,  何书专 ,  沙金 ,  李伟

IPC: G06F17/17

Abstract: 本发明提供了一种高精度低硬件复杂度的sinc插值实现方法，包括：将采样点数据和待插值点数据存储于RAM的不同bank中，根据待插值点数据的整数部分从RAM中取出采样点数据，并且和待插值点数据的小数部分一起，分成两部分输入计算单元中，分别进行通分除法计算和SIN计算，最后通过延时模块后相乘得到结果数据，全过程采用流水线设计。本发明支持多种插值核长度，支持浮点复数计算，通过卷积核现场计算的方式，在保证了计算效率的同时，提高了计算精度，降低了硬件资源的开销。