公开(公告)号：CN118968495A

公开(公告)日：2024-11-15

申请号：CN202410966710.3

申请日：2024-07-18

Applicant: 北京交通大学

Inventor： 王涛 ,  杨贤奔 ,  金一 ,  李浥东 ,  郎丛妍 ,  冯松鹤

IPC: G06V20/64 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种面向动态环境的三维场景生成方法。该方法包括：将动态环境的场景数据转换成视频图像序列；将视频图像序列中的原始视频图像输入至YOLOv8模型，利用YOLOv8模型对图像中动态目标进行检测和操作，得到目标掩码；将原始视频图像和分割得到的目标掩码输入到稳定扩散模型中得到修复后的图像；使用RAFT算法计算深度图中连续帧之间的光流，生成光流信息；使用DPT模型对光流和深度信息进行几何引导生成深度图，根据深度图生成三维场景。本发明能快速识别并移除动态目标，使用文本指导修复技术恢复背景，确保图像的视觉连贯性和自然度。