公开(公告)号：CN114125269A

公开(公告)日：2022-03-01

申请号：CN202111269335.X

申请日：2021-10-29

Applicant: 南京信息工程大学

Inventor： 于莉 ,  常文帅 ,  魏俊锋 ,  蒙塞夫加布依

IPC: H04N5/232 ,  G06T5/50 ,  G06T5/00 ,  G06T3/40

Abstract: 本发明公开了一种基于深度学习的手机实时全景拍摄方法，包括：手机前后摄像头同时拍摄得到一组前后摄图像；手机旋转一定角度后再次同时拍摄；利用基于Brisk和SIFT的拼接算法，将手机旋转前后拍摄的图像进行拼接，得到全景拼接图；利用手机前后摄像头拍摄一组前后摄图像；利用深度单应性网络将手机前后摄图像进行拼接处理，得到带有孔洞的全景拼接图；利用深度图像增强网络将带有孔洞的全景拼接图去模糊处理，得到增强图像；利用深度生成对抗网络和全景拼接图将增强图像的内容补全，得到重构全景图。本发明利用端侧神经网络模型，对手机前后摄广角镜头视角的图像拼接、缺失的全景内容补全，实现了VR实时拍摄的自由化和简单化。

公开(公告)号：CN114125269B

公开(公告)日：2023-05-23

申请号：CN202111269335.X

申请日：2021-10-29

Applicant: 南京信息工程大学

Inventor： 于莉 ,  常文帅 ,  魏俊锋 ,  蒙塞夫加布依

IPC: H04N23/698 ,  H04N23/695 ,  G06T5/50 ,  G06T5/00 ,  G06T3/40

Abstract: 本发明公开了一种基于深度学习的手机实时全景拍摄方法，包括：手机前后摄像头同时拍摄得到一组前后摄图像；手机旋转一定角度后再次同时拍摄；利用基于Brisk和SIFT的拼接算法，将手机旋转前后拍摄的图像进行拼接，得到全景拼接图；利用手机前后摄像头拍摄一组前后摄图像；利用深度单应性网络将手机前后摄图像进行拼接处理，得到带有孔洞的全景拼接图；利用深度图像增强网络将带有孔洞的全景拼接图去模糊处理，得到增强图像；利用深度生成对抗网络和全景拼接图将增强图像的内容补全，得到重构全景图。本发明利用端侧神经网络模型，对手机前后摄广角镜头视角的图像拼接、缺失的全景内容补全，实现了VR实时拍摄的自由化和简单化。