-
公开(公告)号：CN112329910B
公开(公告)日：2024-06-04
申请号：CN202011071970.2
申请日：2020-10-09
Applicant: 东南大学
IPC: G06N3/0464 , G06N3/082 , G06N3/084
Abstract: 本发明提出了一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，属于计算、推算或计数的技术领域。该压缩方法在反向传播的过程中通过梯度下降的方式更新权重参数，并根据网络损失精度对更新后的权重进行结构剪枝，实现权重参数的可连续更新并加快卷积计算的处理速度。本发明利用FPGA实现的加速器以该压缩方法得到的权重编码为输入数据，通过包括448个SQPE的并行计算阵列实现高并行特征值与结构剪枝后权重的移位累加操作，支持不同压缩率结构化剪枝后的稀疏网络的卷积操作，实现了硬件友好型低功耗高吞吐量的加速器。
-
公开(公告)号：CN111783532B
公开(公告)日：2024-05-17
申请号：CN202010459828.9
申请日：2020-05-27
Applicant: 东南大学
IPC: G06V40/16 , G06V10/44 , G06V10/74 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种基于在线学习的跨年龄人脸识别方法，属于计算、推算或计数的技术领域。该方法，通过人脸特征提取网络级联年龄特征分离网络的模型结构实现，在外部数据集上训练人脸特征提取网络，使得模型具备对人脸进行特征提取的能力；使用跨年龄人脸数据集对年龄特征分离部分进行身份识别和年龄预测的多任务训练，以获得鲁棒性更强的年龄不变的人脸特征向量；在实际场景使用中，可以根据新输入的样本对特征分离部分的参数进行微调，实现神经网络的在线学习。本发明在使用参数量较低的模型的同时，一定程度上提升了跨年龄人脸识别的能力，特征分离结构使得在线学习成为了可能，使模型具备了对新场景的自适应能力。
-
公开(公告)号：CN112786021B
公开(公告)日：2024-05-14
申请号：CN202110101761.6
申请日：2021-01-26
Applicant: 东南大学
Abstract: 本发明公开了一种基于分层量化的轻量级神经网络语音关键词识别方法，属于计算、推理、计数的技术领域。该系统包括：语音采集模块、特征提取模块、轻量级神网络加速器以及分层8bits量化模块等。轻量级神经网络采用深度可分离卷积神经网络和注意力机制Squeeze‑and‑Excitation，通过将传统卷积替换成深度可分离卷积，降低神经网络的参数量和计算量，通过引入注意力机制，标注卷积过程中不同通道上特征的重要程度，提高模型的识别准确率，通过对神经网络的权重值量化和激活值分层8bits量化，进一步降低模型的计算复杂度和神经网络的参数量，通过设计支持通道分离卷积和传统卷积的加速器，满足对数据带宽的不同需求，从而加速前向推理计算的过程。
-
公开(公告)号：CN112509564A
公开(公告)日：2021-03-16
申请号：CN202011101902.6
申请日：2020-10-15
Applicant: 江苏南大电子信息技术股份有限公司 , 东南大学—无锡集成电路技术研究所
IPC: G10L15/08 , G10L15/183 , G10L15/06 , G10L15/02
Abstract: 本发明公开了一种基于连接时序分类和自注意力机制的端到端语音识别方法，使用连接时序分类CTC和自注意力机制SA混合机制对英文单词或汉字直接进行建模，无需前处理或后处理，输出结果直接对应正确的英文序列或汉字序列。该方法共享同一个编码器网络，编码器的输出使用CTC训练准则，同时编码器的输出也作为解码器的输入，实现编码器与解码器之间的注意力关系，解码器使用交叉熵训练准则进行训练，最后以加权的方式赋予两种训练准则分配不同的权重。本发明不仅可以加快模型的收敛速度，获得更加准确的对齐属性，还可以获取输入之间的内部联系，提升语音识别系统的准确率及鲁棒性。
-
公开(公告)号：CN112329910A
公开(公告)日：2021-02-05
申请号：CN202011071970.2
申请日：2020-10-09
Applicant: 东南大学
Abstract: 本发明提出了一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，属于计算、推算或计数的技术领域。该压缩方法在反向传播的过程中通过梯度下降的方式更新权重参数，并根据网络损失精度对更新后的权重进行结构剪枝，实现权重参数的可连续更新并加快卷积计算的处理速度。本发明利用FPGA实现的加速器以该压缩方法得到的权重编码为输入数据，通过包括448个SQPE的并行计算阵列实现高并行特征值与结构剪枝后权重的移位累加操作，支持不同压缩率结构化剪枝后的稀疏网络的卷积操作，实现了硬件友好型低功耗高吞吐量的加速器。
-
Patent Agency Ranking
公开(公告)号：CN111242287A
公开(公告)日：2020-06-05
申请号：CN202010039831.5
申请日：2020-01-15
Applicant: 东南大学
Abstract: 本发明公开了一种基于通道L1范数剪枝的神经网络压缩方法，属于计算、推算或计数的技术领域。该方法在外部数据集上训练卷积神经网络后获取该网络的初始化权值参数；在卷积核通道方向上根据参数group将待剪枝卷积层的权值参数分为n个组，并分别求取每个组的L1范数；根据一定的阈值对L1范数大于阈值的组内权值进行剪枝，对L1范数小于阈值的组内权值予以保留并参与再训练。本发明在保证参数的特征提取能力不被压缩的同时在一定程度上减小剪枝对最终目标检测准确率的影响，解决了剪枝后准确率下降过多以及硬件实现难度大的问题。
-
公开(公告)号：CN111192291A
公开(公告)日：2020-05-22
申请号：CN201911242648.9
申请日：2019-12-06
Applicant: 东南大学 , 南京南大电子智慧型服务机器人研究院有限公司 , 江苏南大电子信息技术股份有限公司
Abstract: 本发明公开了一种基于级联回归与孪生网络的目标跟踪方法，在第一帧，将指定的目标图像及以目标图像为中心构建的搜索区域分别输入以孪生网络构成的特征提取网络，分别得到目标图像与搜索区域的特征图。将得到的不同层次的特征图按设计的Attention机制融合，并一同输入到后续的级联区域推荐网络之中。经过级联区域推荐网络之后得到各个锚框的分类及位置预测信息，并得到锚框的预测得分图。通过非极大值抑制以及添加余弦窗等操作筛选出得分最高的锚框，并根据回归的得到的位置信息得到最终的预测框。本发明与传统算法相比上述算法具有精度高，鲁棒性强以及运行效率高的优点。
-
公开(公告)号：CN112766479B
公开(公告)日：2022-11-11
申请号：CN202110100516.3
申请日：2021-01-26
Applicant: 东南大学
Abstract: 本发明公开一种基于FPGA的支持通道分离卷积的神经网络加速器，该加速器包括：Ping‑Pong寄存器文件、可配置数据流的输出特征值行映射单元ORMU阵列、功能单元模块以及存储器接口模块等；Ping‑Pong寄存器文件从控制处理器接受配置和控制字，完成计算后发出中断信号；ORMU阵列采用可配置的片上网络将ORMU单元和缓存互联，以满足不同数据带宽需求的神经网络的计算；功能单元模块用以实现Pooling池化、Relu激活以及批量归一化BN等功能；存储器接口模块用以传输权重和特征值。本发明通过灵活的分层网状片上网络，以支持通道分离卷积(逐通道卷积和逐点卷积)、传统卷积以及全连接对数据带宽的不同需求，从而保证较高的计算单元的利用率，极大的提升了推理/计算速度。
-
公开(公告)号：CN113313255A
公开(公告)日：2021-08-27
申请号：CN202110675052.9
申请日：2021-06-18
Applicant: 东南大学
Abstract: 本发明公开了一种基于神经网络架构搜索的无监督领域自适应方法，该方法通过构建可用于可微分网络架构搜索的网络结构，将实际输入样本的特征图和训练样本的特征图的欧式距离作为损失函数，按序交叉搜索更新网络的结构参数和权重参数，最后选择性能最优的一组参数构建网络模型；本发明使神经网络模型有更强的自适应能力，并且本方法中对网络中各操作赋予权重的结构，可以使网络结构的搜索和更新更加简便快捷、同时降低改变网络结构后的重训练所需的计算代价，使本方法易于在可移动嵌入式终端实施。
-
公开(公告)号：CN110390384B
公开(公告)日：2021-07-06
申请号：CN201910554533.7
申请日：2019-06-25
Applicant: 东南大学
Abstract: 本发明公开了一种可配置的通用卷积神经网络加速器，属于计算、推算、计数的技术领域。该加速器包括：PE阵列、状态控制器、功能模块、权重缓存区、特征图缓存区、输出缓存区和寄存器栈，状态控制器包括网络参数寄存器和工作状态控制器。通过配置网络参数寄存器对不同规模的网络均能取得优异的加速效果，工作状态控制器控制着加速器工作状态的切换并将控制信号发送至其它模块。权重缓存区、特征图缓存区和输出缓存区均由多个数据子缓存区构成，用于分别存放权重数据、特征图数据和计算结果。本发明能够针对不同的网络特点，配置合适的数据重用模式、阵列尺寸和子缓存区个数，通用性好，功耗低，吞吐量高。
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.029 seconds)
