一种融合高低频特征信息的低光图像增强方法及装置

    公开(公告)号:CN116152120B

    公开(公告)日:2023-07-21

    申请号:CN202310426401.2

    申请日:2023-04-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种融合高低频特征信息的低光图像增强方法及装置,属于计算机视觉领域和图像处理领域。本发明方法包括:S1、采集RGB格式的正常光‑低光图像对;S2、对采集到的低光图像分解为光照分量Ilow和反射分量Rlow;S3、对得到的光照分量和反射分量分解为三级拉普拉斯金字塔;S4、分别对光照分量和反射分量的三级拉普拉斯金字塔图像依次输入到三个分支网络中得到增强后的光照分量和反射分量;S5、对和进行逐通道逐像素相乘操作得到低光增强后的正常光图像;其推理步骤包括上述步骤S2‑S5。本发明利用双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA,实现能有效抑制噪声和增强纹理细节的高质量低光图像增强。

    基于深度学习的微光全彩视频图像自适应增强方法及系统

    公开(公告)号:CN115393227B

    公开(公告)日:2023-06-06

    申请号:CN202211164856.3

    申请日:2022-09-23

    Applicant: 南京大学

    Abstract: 本发明公开一种基于深度学习的微光全彩视频图像自适应增强方法及系统。其方法步骤为:S1采集RAW格式视频图像序列;S2像素融合,将RAW数据转化为RGB数据;S3获取黑电平图像,去除黑电平;S4自适应线性调整亮度;S5使用包含门控循环单元的去噪网络去除图像序列的噪声;S6将去噪后的图像非线性映射为多曝光图像组;S7将多曝光图像组序列输入融合网络,得到输出图像序列。本发明使用门控循环单元充分利用视频帧间的冗余信息去噪,能够有效去除最低10‑3Lux照度环境下采集的图像中的噪声,提高图像信噪比,使用自监督的图像融合模块融合多曝光图像组,有效增强图像暗部细节并抑制过曝区域,使输出视频序列亮度稳定。

    读出电路优化的存算一体芯片及方法

    公开(公告)号:CN116189732A

    公开(公告)日:2023-05-30

    申请号:CN202310433555.4

    申请日:2023-04-21

    Applicant: 南京大学

    Abstract: 本发明公开了读出电路优化的存算一体芯片及方法,属于超大规模集成电路领域、存算一体领域。本发明的读出电路优化的存算一体芯片,通过校准计算分离法,将存算一体芯片读出电路分为计算读出电路与校准读出电路;独立的校准读出电路,可以提高存算一体芯片权重部署精度,提高芯片计算精度;独立的计算读出电路,由于功能要求减少,可以进一步优化面积、功耗、速度。进一步地,计算读出电路通过分段数模混合累加法,将存算一体电路实现的矩阵向量乘分两阶段实现,第一阶段采用模拟运算,第二阶段采用数字运算,降低读出电路功能、性能要求,优化存算一体芯片读出电路的面积、功耗、速度、动态范围,提高存算一体读出电路的通用性。

    一种基于深度学习的联合去噪与超分的低光照图像增强方法

    公开(公告)号:CN116051428A

    公开(公告)日:2023-05-02

    申请号:CN202310332399.2

    申请日:2023-03-31

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于深度学习的联合去噪与超分的低光照图像增强方法,属于计算机视觉领域。本发明方法将训练好的增强网络、去噪网络、超分网络与全局线性提亮模块按一定顺序组织成一个包含所有处理流程的整体网络,将待处理的低光照图像输入到该网络中,依次经过低光照图像增强、全局线性提亮、去噪和超分辨率重建,得到亮度增强后的高清彩色图像。本发明在增强图像亮度的同时,不仅能够保证色彩保真度和细节还原度,而且提高了信噪比与清晰度。此外,本发明的方法具有一定灵活性,根据不同情况来决定输入的图像样本是否要经过全局线性提亮模块、去噪网络和超分网络的处理,这样能够保证输出图像在主观上和客观上的质量评价指标都比较高。

    一种基于卷积神经网络的超声图像分类方法

    公开(公告)号:CN111325236B

    公开(公告)日:2023-04-18

    申请号:CN202010070699.4

    申请日:2020-01-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于卷积神经网络的超声图像分类方法。包括:从原始图像圈定感兴趣区域并裁剪,获得剪裁后的图像;对所述裁剪后的图像采用添加高斯噪声方法与直方图均衡方法进行数据增广,获得数据增广后的数据集;利用所述增广后的数据集进行生成对抗网络的训练,并验证测试,获得训练好的生成器;加载所述训练好的生成器,通过噪声推理出图像,并对生成的所述图像标定标签;将所述生成器生成的图像扩充到分类数据集中,重新训练卷积神经网络对超声图像进行分类,并输出准确率和召回率,评估网络性能。本发明在对超声图像分类时,解决了神经网络中训练数据集不足的问题,提高了网络的泛化性能。

    针对稀疏化CNN神经网络模型的游程编码加速器及方法

    公开(公告)号:CN113902097A

    公开(公告)日:2022-01-07

    申请号:CN202111157742.1

    申请日:2021-09-30

    Applicant: 南京大学

    Abstract: 本发明公开一种针对稀疏化CNN神经网络模型的游程编码加速器及其方法。加速器包括:顶层控制器,用于识别输入输出数据类型并进行分组处理,将权重数据和激励数据传输给游程编码模块;游程编码模块,用于压缩计算模块输出的结果数据,并将压缩编码后的计算结果传输给外部存储器;游程解码模块,用于解压缩从外部存储器中读取的数据,并将数据传输给数据门控;数据门控,用于识别输入激励数据和权重数据的零值,并为零值跳过乘加操作;计算模块,用于对数据门控传输的权重数据和激励数据执行乘加操作并给出计算结果。本发明基于数据压缩和数据门控实现减少CNN模型所需的存储空间和功耗,具有高能效和无需大量访问内存等优点。

    一种针对二维图像序列中多尺度多形态目标的自动检测方法

    公开(公告)号:CN112365498A

    公开(公告)日:2021-02-12

    申请号:CN202011451531.4

    申请日:2020-12-10

    Applicant: 南京大学

    Abstract: 本发明公开了一种针对二维图像序列中多尺度多形态目标的自动检测方法。包括以下步骤:改变原始二维图像尺寸并对目标进行标定;根据二维图像序列的堆叠形成三维数组,进而获得另一平面的图像并对其目标进行标定;用目标检测神经网络分别训练两个平面的数据集,尽可能保证较高的召回率,得到二维图像预测的检测结果;将目标平面上的检测结果投影至辅助平面得到的框位置与辅助平面网络预测的检测框进行对比,判断两者交集程度,根据辅助平面的预测检测结果去除二维图像预测检测中出现的假正例;最后利用图像中目标的灰度连续性进一步去除假正例,并将图像恢复至原始尺寸,通过上述步骤综合两个平面的信息得到准确率较高的目标检测结果。

    基于多尺度卷积神经网络的糖尿病视网膜病变分类方法

    公开(公告)号:CN112185523A

    公开(公告)日:2021-01-05

    申请号:CN202011060027.1

    申请日:2020-09-30

    Applicant: 南京大学

    Abstract: 本发明公开了基于多尺度卷积神经网络的糖尿病视网膜病变分类方法,先将原始眼底图像进行归一化预处理,再以目标像素为中心,对预处理后的图像进行多尺度分割,得到不同尺度下的一系列形状、大小相同的图像序列。针对每个尺度,分别利用卷积神经网络模型对图像序列进行特征提取,得到不同尺度的特征并进行融合,针对融合后的特征来进行最后的分类,得到图像序列(即目标像素)的病变检测结果。将原始眼底图像上所有像素点的检测结果进行整合输出,即得到带有病变定位和分类的糖尿病视网膜病变检测结果图。本发明多尺度提取特征并融合,实现同时检测MAs和HEs两种病变的自适应尺度糖尿病视网膜病变,提高了糖尿病视网膜病变检测算法的性能。

    一种利用多平面标定板提高相机标定精确度的方法

    公开(公告)号:CN111429532A

    公开(公告)日:2020-07-17

    申请号:CN202010363909.9

    申请日:2020-04-30

    Applicant: 南京大学

    Abstract: 本发明公开了一种利用多平面标定板提高相机标定精确度的方法,包括:拼接绘有棋盘格点图案的两块标定基板后获得标定板;计算棋盘角点的三维世界坐标,并归并在同一三维世界坐标系中;使用待标定相机获取标定板的图像并滤波预处理,获得标定图像;在标定图像上确定目标角点并获取图像像素坐标,目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应;推算重投影变换方程并求解,分解获得旋转向量和平移矩阵;将旋转向量变换成对应的旋转矩阵,重投影后通过光束平差法优化旋转矩阵和平移矩阵。本发明通过拼接两块标定基板形成多平面标定板,能够提高相机标定精度,有效解决了相机位姿估计中误差较大的问题。

Patent Agency Ranking