公开(公告)号：CN111626308A

公开(公告)日：2020-09-04

申请号：CN202010322368.5

申请日：2020-04-22

Applicant: 上海交通大学

Inventor： 孔令通 ,  杨杰 ,  黄晓霖

IPC: G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于轻量卷积神经网络的实时光流估计方法，包括：给定相邻两帧图像，构建参数共享的多尺度特征金字塔；在构建的特征金字塔的基础上，采用反卷积操作构建第一帧图像U型网络结构进行多尺度信息融合；初始化最低分辨率光流场为零，第二低分辨率估计的光流被上采样后，对第二帧匹配特征进行基于双线性采样的变形操作；对第一帧的特征及第二帧变形后的特征进行基于内积的局部相似性计算，构建匹配代价，并进行代价聚合；将多尺度特征、上采样的光流场及代价聚合后的匹配代价特征作为光流回归网络的输入，估计该分辨率下的光流场；重复，直至估计出最高分辨率下的光流场。通过本发明，对光流估计更准确，模型轻量高效，实时快速。

公开(公告)号：CN111626308B

公开(公告)日：2023-04-18

申请号：CN202010322368.5

申请日：2020-04-22

Applicant: 上海交通大学

Inventor： 孔令通 ,  杨杰 ,  黄晓霖

IPC: G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于轻量卷积神经网络的实时光流估计方法，包括：给定相邻两帧图像，构建参数共享的多尺度特征金字塔；在构建的特征金字塔的基础上，采用反卷积操作构建第一帧图像U型网络结构进行多尺度信息融合；初始化最低分辨率光流场为零，第二低分辨率估计的光流被上采样后，对第二帧匹配特征进行基于双线性采样的变形操作；对第一帧的特征及第二帧变形后的特征进行基于内积的局部相似性计算，构建匹配代价，并进行代价聚合；将多尺度特征、上采样的光流场及代价聚合后的匹配代价特征作为光流回归网络的输入，估计该分辨率下的光流场；重复，直至估计出最高分辨率下的光流场。通过本发明，对光流估计更准确，模型轻量高效，实时快速。