公开(公告)号：CN118646837A

公开(公告)日：2024-09-13

申请号：CN202410613624.4

申请日：2024-05-17

Applicant: 复旦大学

Inventor： 谭伟敏 ,  颜波 ,  何瑞安 ,  张子贤

IPC: H04N7/01 ,  H04N21/4402 ,  H04N21/44 ,  G02B21/36 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0895

Abstract: 本发明属于视频处理技术领域，具体为一种基于自监督学习的显微镜视频插帧方法。本发明方法包括：首先，采用自监督训练策略训练深度学习模型，从有噪声的显微镜视频中学习视频插帧；其次，引入基于选择性状态空间模型的时空特征对齐模块，高效进行视频插帧；最后，模拟数据集评估显微镜视频插帧任务，该数据集包含不同对象和噪声水平。实验结果表明，本模型在视频插帧性能上具有显著的优势，而且处理内存消耗只有之前的四分之一，具有很高实用价值。

公开(公告)号：CN118646911A

公开(公告)日：2024-09-13

申请号：CN202410613984.4

申请日：2024-05-17

Applicant: 复旦大学

Inventor： 谭伟敏 ,  颜波 ,  张子贤

IPC: H04N21/2343 ,  G06N3/082 ,  G06N3/096 ,  G06N3/084 ,  H04N21/4402 ,  H04N7/01

Abstract: 本发明属于数字图像处理技术领域，具体为一种基于模型剪枝与蒸馏的轻量的显微镜图像插帧方法。本发明方法包括：使用插帧网络得到前后两帧显微镜图像的中间帧；通过在插帧网络的优化目标中加入参数正则项得到网络参数的稀疏解，达到模型剪枝的效果；利用剪枝前的完整网络作为教师网络对剪枝后的网络进行蒸馏操作，以弥补模型剪枝带来的插帧质量损失；模型推理时根据所需插帧数量动态调整插帧网络生成的光流数量，减轻多帧插帧推理时的时间消耗。实验结果表明，本方法能够插帧出质量良好的显微镜中间帧图像，在损失插帧质量较小的前提下，将插帧所需计算量减小至1/3，并且控制插入10帧图像的时间消耗在插入2帧图像的时间消耗的2.5倍以内。