公开(公告)号：CN119583964A

公开(公告)日：2025-03-07

申请号：CN202411575059.3

申请日：2024-11-06

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  张仟瑜 ,  潘航佳

IPC: H04N23/73 ,  H04N23/45

Abstract: 本发明公开了一种多曝光图像融合的HDR视频生成方法及系统。首先通过双相机采集模块实现多曝光图像捕获，然后通过处理单元对采集到的多曝光图像数据进行帧同步及数据预处理。之后基于多曝光图像融合的HDR视频生成网络生成HDR视频，经过HDR视频生成网络生成的视频流将被传送至推流模块，通过推流模块根据需求将生成的HDR视频以不同格式输出。本发明采用以任意曝光时间图像为参考的策略，通过高帧率的低曝光与间歇式的中高曝光图像采集，实现了高动态范围的视频生成，并能够灵活适应各种场景，不受曝光时间对生成视频帧率的影响。

公开(公告)号：CN118469835A

公开(公告)日：2024-08-09

申请号：CN202410673257.7

申请日：2024-05-28

Applicant: 杭州电子科技大学丽水研究院

Inventor： 潘航佳 ,  颜成钢 ,  沙雏淋 ,  何敏 ,  殷海兵 ,  王帅

IPC: G06T5/50 ,  G06T5/60 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于原始图像的多曝光图像融合方法。本发明对于现有的多曝光融合技术进行了改进，不同于传统的将相机得到的图像直接作为LDR图像进行融合，本发明使用Bayer格式的图像得到图像的原始图像作为输入来学习更多的图像信息。同时本发明结合了DualUNet网络的优点，并改进了Conv模块来增强学习能力；此外利用DIB模块来增强对频域维度的学习能力。本发明提出的基于原始图像LDR‑HDR图像信号处理方法可以更好的获取图像细节信息从而为后续网络训练提供更好的图像信息。同时，本发明改进后的网络利用结构重新参数化技术，显著抑制硬件设备计算需求，符合轻量化使用的现实场景。

公开(公告)号：CN117612264A

公开(公告)日：2024-02-27

申请号：CN202311721804.6

申请日：2023-12-14

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  潘航佳 ,  介曦冉 ,  周晓飞 ,  黄爱爱

IPC: G06V40/20 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于图卷积网络的人体动作识别方法。首先获取基于骨架的动作识别数据集。对数据集中的缺失数据进行特征插补，得到补全后的输入序列；通过加权邻接矩阵构造方法，获得改进的加权邻接矩阵；然后根据改进的加权邻接矩阵训练网络框架；网络框架由两部分组成：GCN网络以及SoftMax分类器。最后通过训练好的网络框架对待识别的人体图序列S进行人体动作识别。本发明通过在单个人体动作识别管道中结合缺失联合处理预处理步骤和一种新颖的邻接矩阵构建方法来提高基于GCN的方法的人类动作识别性能。同时本发明的框架更轻量化，具有更少的可学习参数。

公开(公告)号：CN118412009A

公开(公告)日：2024-07-30

申请号：CN202410673253.9

申请日：2024-05-28

Applicant: 杭州电子科技大学丽水研究院

Inventor： 姚雨辰 ,  颜成钢 ,  郑博仑 ,  潘航佳 ,  徐逸杰 ,  李宗鹏

IPC: G10L25/90 ,  G10L25/48

Abstract: 本发明公开了一种基于人声分离的音高定位识别方法，首先需要根据待识别的演唱视频选择对应的真实的对比文件并进行预处理；然后采用端到端人声分离技术对处理后的数据进行人声分离，得到人声文件；再构建音高定位识别网络，网络由输入层、关系层和输出层组成；最后人声分离得到人声文件输入构建的音高定位识别网络实现音高定位识别。在本发明方法中，通过构建音高定位识别网络，将音高和标准线进行可视化，能够直观地看到人声和经过修音合成的声音的曲线对比，维护观众粉丝的权益，同时相对现有技术提高了泛用性以及准确性。

公开(公告)号：CN118155290A

公开(公告)日：2024-06-07

申请号：CN202410442762.0

申请日：2024-04-12

Applicant: 杭州电子科技大学丽水研究院

Inventor： 徐逸杰 ,  颜成钢 ,  潘航佳 ,  姚雨辰 ,  郭雨晨 ,  殷海兵

IPC: G06V40/20 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种多模态深度感知的高精度集成动态手势识别方法。首先获取动态手势数据集，应用2D和3D数据增强方法增加样本数量；然后将增强后的数据进行灰度变换，并分别输入3D‑CNN子网络、ConvLSTM子网络和TCN子网络分别提取手势序列特征；将手势序列特征直接或融合输入相应分类器；最后将分类器结果集成，输出最终的概率分布。本发明额外对数据进行了数据增强和灰度变换，在数据原有的多模态之外，增加了灰度2D和灰度3D模态，使得本方法能识别分辨率更低的输入图像；并且本发明使用了一种优化加权集成，能够更有效地优化的综合多模态的分类结果。

公开(公告)号：CN116258600A

公开(公告)日：2023-06-13

申请号：CN202310255939.1

申请日：2023-03-16

Applicant: 杭州电子科技大学

Inventor： 郑博仑 ,  徐逸杰 ,  张权 ,  潘航佳 ,  颜成钢

IPC: G06Q50/00 ,  G06F16/9536 ,  G06F16/9535 ,  G06F16/9537 ,  G06F16/951 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/09

Abstract: 本发明公开了一种多模态特征融合的社交媒体内容传播预测方法，首先利用数据爬虫获取目标社交媒体平台内容和发布者社交属性的原始数据；依据不同模态分别对获取到的数据进行预处理；通过特征提取模块，对图像模态和文本模态进行特征提取；再调整三类模态的数据至同一维度大小；最后进行神经网络监督训练。本发明能够使得回归拟合结果不过于偏向某一模态，从而提升预测结果的准确性和鲁棒性。