公开(公告)号：CN117894067A

公开(公告)日：2024-04-16

申请号：CN202311730776.4

申请日：2023-12-15

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  徐逸杰 ,  介曦冉 ,  张桦 ,  王烨茹

IPC: G06V40/20 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/09 ,  G06N3/048 ,  G06N3/047 ,  G06N3/042

Abstract: 本发明公开了一种基于Transformer与LSTM知识共享网络的动态手势识别方法。首先获取动态手势数据集，应用不同的数据增强方法增加样本数量，得到数据增强后的数据集；之后将数据增强后的数据集中的数据输入Transformer子网络和LSTM子网络分别提取手势序列特征；将手势序列特征直接或融合输入对应分类器，得到对应的离散概率分布；最后输出类别决策，并进行知识共享和监督训练；本发明通过Transformer和LSTM来提取手势序列数据的特征，在理解序列关系的同时能够充分运用手势数据的树状结构。并且使用了知识共享的方法分享分类器中的参数信息，使得分类结果具有更高的准确性。

公开(公告)号：CN117408901A

公开(公告)日：2024-01-16

申请号：CN202311342533.3

申请日：2023-10-17

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  陈泉 ,  介曦冉 ,  周晓飞 ,  梁立军 ,  颜成钢

IPC: G06T5/50 ,  G06T3/00

Abstract: 本发明公开了一种针对非对齐图像的全景深图像合成方法，其基本步骤为:步骤1：数据集制作，建立步骤2中网络训练需要的图像数据集；步骤2：构建非对齐图像的全景深效果合成网络模型；步骤3：通过步骤1获取的数据集训练步骤2搭建的全景深效果合成网络模型；步骤4：经过训练的网络模型接收需要进行全景深效果合成的图片序列，完成全景深效果合成后将图片输出。本发明通过在对齐的浅景深图像中引入仿射变化来合成非对齐的浅景深图像，从而模拟相机在小范围移动情况下拍摄图像序列的效果，克服了现有景深合成算法不能应用于非对齐图像序列的限制。

公开(公告)号：CN117915204A

公开(公告)日：2024-04-19

申请号：CN202311470718.2

申请日：2023-11-07

Applicant: 杭州电子科技大学

Inventor： 彭首平 ,  李浩然 ,  柴卓锐 ,  郑博仑 ,  黄爱爱 ,  介曦冉 ,  颜成钢

IPC: H04N23/84 ,  G06T3/4015

Abstract: 本发明公开了一种对于Bayer CFA图像的去马赛克方法。本发明方法利用不同类型Bayer CFA图像之间的隐含相关性，采用pattern embedding和独热编码的方式，提高了特征提取模型对Bayer CFA图像的特征提取能力。在此基础上，通过利用先预训练再微调(Fine‑tune)的训练模式，实现了去马赛克效果的提升。本发明提出了一种改进的transformer模块PSTB，可以对带有编码嵌入标记P的不同类型的Bayer CFA图像进行有针对性的学习，从而可以提高网络的特征提取能力，最终实现得到高水平的标准RGB图像的目的。

公开(公告)号：CN117612264A

公开(公告)日：2024-02-27

申请号：CN202311721804.6

申请日：2023-12-14

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  潘航佳 ,  介曦冉 ,  周晓飞 ,  黄爱爱

IPC: G06V40/20 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于图卷积网络的人体动作识别方法。首先获取基于骨架的动作识别数据集。对数据集中的缺失数据进行特征插补，得到补全后的输入序列；通过加权邻接矩阵构造方法，获得改进的加权邻接矩阵；然后根据改进的加权邻接矩阵训练网络框架；网络框架由两部分组成：GCN网络以及SoftMax分类器。最后通过训练好的网络框架对待识别的人体图序列S进行人体动作识别。本发明通过在单个人体动作识别管道中结合缺失联合处理预处理步骤和一种新颖的邻接矩阵构建方法来提高基于GCN的方法的人类动作识别性能。同时本发明的框架更轻量化，具有更少的可学习参数。