公开(公告)号：CN116309698A

公开(公告)日：2023-06-23

申请号：CN202310038906.1

申请日：2023-01-11

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 李嘉茂 ,  陈勇虎 ,  朱冬晨 ,  石文君 ,  张广慧 ,  张晓林

IPC: G06T7/246 ,  G06T5/00 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法，包括以下步骤：提取至少连续两帧的输入图像的图像特征；基于相邻两帧的输入图像的图像特征，采用运动编码器得到初始运动特征；将初始运动特征和历史集成特征输入至MFC单元，所述MFC单元通过交叉注意力得到增强运动特征，并与初始运动特征合并得到集成特征；将所述集成特征输入至迭代模块进行迭代计算，得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。

公开(公告)号：CN116309698B

公开(公告)日：2024-06-11

申请号：CN202310038906.1

申请日：2023-01-11

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 李嘉茂 ,  陈勇虎 ,  朱冬晨 ,  石文君 ,  张广慧 ,  张晓林

IPC: G06T7/246 ,  G06T5/00 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法，包括以下步骤：提取至少连续两帧的输入图像的图像特征；基于相邻两帧的输入图像的图像特征，采用运动编码器得到初始运动特征；将初始运动特征和历史集成特征输入至MFC单元，所述MFC单元通过交叉注意力得到增强运动特征，并与初始运动特征合并得到集成特征；将所述集成特征输入至迭代模块进行迭代计算，得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。