公开(公告)号：CN118537258A

公开(公告)日：2024-08-23

申请号：CN202410495227.1

申请日：2024-04-24

Applicant: 武汉大学

Inventor： 余磊 ,  张驰 ,  张翔 ,  姜晨旭 ,  林明远

IPC: G06T5/73 ,  G06T5/50

Abstract: 本发明提供一种基于事件相机的自监督高帧率视频重建方法及系统，包括：视频参考帧图像与事件流数据集的构建，事件流的预处理，构建基于事件的统一帧内以及帧间的学习网络模型来完成去模糊和插帧，以及自监督框架来进行网络训练并生成清晰视频。根据事件流来联系拍摄的参考图像以及待估计的任意时刻的潜在清晰图像，构建统一的帧内以及帧外的双积分估计模块。利用参考帧图像，潜在清晰图像，以及事件流之间的约束关系，提出自监督框架对网络模型进行训练，并用训练后的网络模型重建出高帧率，高质量的清晰视频。本发明解决了视频拍摄过程中由曝光时长长以及较慢的快门速度导致的帧间和帧内信息丢失问题，具有较好的去模糊以及插帧的视频重建效果。

公开(公告)号：CN116188930A

公开(公告)日：2023-05-30

申请号：CN202310131651.3

申请日：2023-02-15

Applicant: 武汉大学

Inventor： 余磊 ,  刘熠晨 ,  姜晨旭

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于融合事件相机的场景识别方法及系统，属于图像处理技术领域，包括：获取预设高速高动态图像和预设高速高动态事件流，对预设高速高动态图像进行预处理得到预处理后事件流，将预处理后事件流与预设高速高动态图像融合得到融合特征；获取预设参考图像，提取预设参考图像中的参考图像特征；将融合特征与参考图像特征进行检索匹配，得到参考图像识别结果。本发明通过提出融合事件相机的视觉场景识别框架，能够利用事件流的低时延与高动态的性质隐式增强图像质量，并完成场景识别，解决了传统场景识别方法在高速高动态场景识别性能不佳的问题。

公开(公告)号：CN116448226A

公开(公告)日：2023-07-18

申请号：CN202310184355.X

申请日：2023-03-01

Applicant: 武汉大学

Inventor： 余磊 ,  姜晨旭 ,  王均 ,  黄维 ,  薛源江 ,  谢瑞清

IPC: G01H9/00 ,  G06T5/00

Abstract: 本发明提供基于事件相机的振动感知方法及系统，能够便捷、高效地获取和重建振动信号。基于事件相机的振动感知方法包括：步骤1，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；步骤2，调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上，拍摄获得激光散斑事件流；步骤3，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流；步骤4，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流；步骤5，统计每段事件流中正事件点个数和负事件点个数，将正事件点数量与负事件点数量相减得到重建后的振动信号。

公开(公告)号：CN116208812A

公开(公告)日：2023-06-02

申请号：CN202310127298.1

申请日：2023-02-15

Applicant: 武汉大学

Inventor： 余磊 ,  丁超 ,  林明远 ,  姜晨旭 ,  张海剑

IPC: H04N21/4402 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  H04N19/587 ,  H04N19/132

Abstract: 本发明提供一种基于立体事件和强度相机的视频插帧方法及系统，属于图像处理技术领域，包括：采集原始图像帧和原始事件流；提取原始图像帧中的任意连续图像帧，基于任意连续图像帧确定帧间事件流；将任意连续图像帧和帧间事件流输入至卷积神经网络中进行训练，并基于模型训练得到的插帧结果与真实图像构建的损失函数，得到视频插帧模型；确定待处理图像帧和待处理帧间事件流输入至视频插帧模型，得到视频插帧结果。本发明综合利用基于卷积神经网络的强度相机和事件相机进行视频插帧，实现了两类数据在空间不对齐条件下的高质量立体视频插帧。