一种基于Transformer的轻量级剪枝方法、装置、终端和计算机可读存储介质

    公开(公告)号:CN116108891A

    公开(公告)日:2023-05-12

    申请号:CN202211616904.8

    申请日:2022-12-15

    Inventor: 王堃 刘政 张索非

    Abstract: 本发明提出了一种基于Transformer的轻量级剪枝方法、装置、终端和计算机可读存储介质,该方法包括:使用稀疏正则的方式训练模型;加强通道的稀疏性,对系数应用正则化,并通过添加训练目标来优化,经过稀疏惩罚训练后,得到一些重要值接近于零的transformer,对transformer中的所有正则化系数进行排序;根据预先定义的剪枝率获得阈值τ,在根据importance scores进行修剪后,被修剪的总transformer将被微调以减少精度下降;对稀疏训练过的模型的所有MHSA块,应用剪枝操作,剪除评分低的不重要网络;以及将剪枝后的模型重训练,进行新网络的测试。本发明通过剪除冗余通道,减少计算的复杂度,实现模型的轻量化,使模型能够部署在算力有限的终端设备上。

    一种物联网场景下低时延ZYNQ图像预处理装置

    公开(公告)号:CN116012220A

    公开(公告)日:2023-04-25

    申请号:CN202211616965.4

    申请日:2022-12-15

    Abstract: 本发明提出了一种物联网场景下低时延ZYNQ图像预处理装置,包括ZYNQ平台、输入设备端模块、DMA模块、DDR4模块以及图像预处理模块。本发明将定制好的IP核添加进FPGA模块,则可以实现直接在PL端对图片进行预处理操作,而无需在PS端处理好后再传输给PL端。之后再添加直接存储器访问(Direct Memory Access,DMA)等模块,如此,整个硬件模块可以节省一定的传输时间,提高图片处理的整体运行速率,有效降低时延。

    基于动态时间规整与长短时间记忆的负荷预测方法

    公开(公告)号:CN109754113B

    公开(公告)日:2022-08-30

    申请号:CN201811439799.9

    申请日:2018-11-29

    Abstract: 本发明揭示了一种基于动态时间规整与长短时间记忆的负荷预测方法,包括如下步骤:S1、从电力系统中获取用户短期负荷预测所需的基本数据:S2、根据用户的历史负荷数据,使用动态时间规整法将用电行为类似的用户进行聚类;S3、对同一类别的用户数据进行池化处理;S4、选取训练数据,进行预处理后作为输入;S5、构建基于深度长短期记忆循环神经网络的短期负荷预测方法,并验证有效性。本发明针对待预测用户基数大的特点,将具有相似用电行为的用户进行聚类,提高了预测效率。同时,本发明通过将同一类别内的数据进行池化处理,增加了训练数据的多样性,提高了短期负荷预测精度,具有一定的工程应用意义。

    人体识别跟踪方法
    44.
    发明授权

    公开(公告)号:CN112784756B

    公开(公告)日:2022-08-26

    申请号:CN202110095729.1

    申请日:2021-01-25

    Inventor: 王堃 刘耀辉 戴旺

    Abstract: 本发明公开了一种人体识别跟踪方法,包括如下步骤:步骤100:采集原始视频流数据,并将原始视频流数据转化为图片建立初始数据集;步骤200:对初始数据集进行增强处理及筛选,获得训练集、验证集及测试集;步骤300:搭建由主干网络、上采路径和顶端卷积组成的Centernet网络结构,其中顶端卷积使采用深度可分离卷积;步骤400:设计BOX匹配机制和损失函数构建完整的Centernet网络结构;步骤500:使用训练集、验证集及测试集对完整的Centernet网络结构进行训练、验证及测试获得Centernet网络模型;步骤600:利用Centernet网络模型识别跟踪实时视频流数据中的人体。上述人体识别跟踪方法,优化了Centernet网络结构,在不降低检测精确度的情况下提升检测速度,优化了精确度和速度之间的平衡。

    一种基于自编码器的未知类别图像标签预测方法

    公开(公告)号:CN108564121B

    公开(公告)日:2022-05-03

    申请号:CN201810314788.1

    申请日:2018-04-09

    Abstract: 本发明揭示了一种基于自编码器的未知类别图像标签预测方法,该方法包括以下步骤:S1步骤:利用图像数据库,该数据库中包括一个源域和一个目标域,通过源域的自编码器,学出一个源域投影矩阵;S2步骤:在源域和样本标签未知的目标域同时使用自编码器,将源域知识迁移学习到目标域,将S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值,通过迭代算法训练得到目标域中未知类别样本的属性;S3步骤:利用余弦相似性将训练出样本属性进行对比,从而预测得到未知类样本的标签。本发明应用了自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵,通过迭代可以直接得到目标域样本图像的属性,有效缓解域迁移问题的影响。

    基于区块链的分布式文件分类存储系统及存储方法

    公开(公告)号:CN111966657A

    公开(公告)日:2020-11-20

    申请号:CN202010823753.8

    申请日:2020-08-17

    Abstract: 本发明揭示了一种基于区块链的分布式文件分类存储系统及存储方法,系统包括区块链单元及分布式文件单元,所述区块链单元由智能合约模块、信息接收及身份验证模块及文件分类模块组成,所述分布式文件单元由存储模块、文件分割模块、文件寻址模块及周期性检测模块组成。本发明利用区块链数据结构、结合不同的存储策略,实现了对文件的分类存储,在保证了文件存储效率的同时有效地节约了存储空间、保证了所存储文件的安全性。

    区块链共识算法的鲁棒性分析方法及区块链系统

    公开(公告)号:CN111190831A

    公开(公告)日:2020-05-22

    申请号:CN202010002243.4

    申请日:2020-01-02

    Abstract: 本发明提供了一种区块链共识算法的鲁棒性分析方法及区块链系统,包括以下步骤:将区块链系统的节点作为点,区块状态作为线,区块链性能作为面;定义区块链中共识算法的鲁棒性参数;分类并分析区块链中共识算法的鲁棒性参数;建立鲁棒性分析模型。本发明通过节点、区块状态和区块链性能方面的区块链参数,分析共识算法的鲁棒性,可以更广泛地应用于区块链项目,评估出实现共识的最优方法,验证算法的可用性、活跃性、容错性等特点。

    一种雾协助工业物联网的隐私保护方法

    公开(公告)号:CN110839028A

    公开(公告)日:2020-02-25

    申请号:CN201911113163.X

    申请日:2019-11-14

    Abstract: 本发明公开了一种雾协助工业物联网的隐私保护方法,属于计算机网络安全领域,包括以下步骤:雾协助工业物联网系统初始化;对感知层设备获取的数据进行加密,将获得的感知层密文cij,τ传输至该感知层设备所属子区域对应的雾节点;所述雾节点接收到所述感知层密文cij,τ后,对感知层密文cij,τ进行聚合,得到子区域聚合密文Ci,τ及并将所述子区域聚合密文Ci,τ传输至工业云;工业云接收到子区域聚合密文Ci,τ后,对子区域聚合密文Ci,τ进行二次聚合得到全局聚合密文Cτ并解密;根据解密后的全局聚合密文,获得每个子区域的统计和Di,τ,每个子区域相应的均值Ei,τ,k个子区域的全局统计和Dτ和k个子区域相应均值Eτ。本发明可对物联网内数据传输进行隐私保护,并且可同时提供粗粒度服务和细粒度服务。

    一种面向云计算环境的认知入侵检测方法

    公开(公告)号:CN107040517B

    公开(公告)日:2020-01-10

    申请号:CN201710096368.6

    申请日:2017-02-22

    Abstract: 本发明公开了一种面向云计算环境的认知入侵检测方法,包括数据预处理单元、数据包检测单元、数据库、认知规则库、入侵检测引擎单元事件处理单元、云认知推理机和统计分析单元,其中云认知推理学习模块采用遗传算法对特征向量进行优化,使所需的训练时间和监测时间比其他方法短,其次,实时在线的检测能力较强,最后,在云计算的环境中充分利用云计算进行大规模并行计算和大数据量处理的能力,使运算能力大大加强,使系统更加安全高效。

Patent Agency Ranking