公开(公告)号：CN118154655B

公开(公告)日：2024-10-25

申请号：CN202410387207.2

申请日：2024-04-01

Applicant: 中国矿业大学

Inventor： 寇旗旗 ,  程德强 ,  孙凤乾 ,  郑平 ,  陈俊辉

IPC: G06T7/50 ,  G06T11/00 ,  G06T7/70 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0464 ,  G06V10/80 ,  G06V10/44 ,  G06N3/08

Abstract: 本发明涉及三维场景感知技术领域，具体涉及一种矿井辅助运输车辆无人驾驶的单目深度估计方法,包括：对当前帧图像进行深度估计，获得深度图；将深度图、当前帧图像以及上下多帧图像输入至多帧位姿优化模块中获得相机相对位姿变化T0→final；结合T0→final和深度图进行图像重建，得到由当前帧图像投影到上下多帧视角的投影图像；计算光度重投影损失函数和次要损失函数，得到总损失，并进行多次学习迭代得到训练完成的深度估计网络模型；将单张图像作为训练完成的深度估计网络模型的输入，经模型预测后得到图像深度估计结果。本发明通过多帧位姿优化模块缓解了位姿估计不准确的问题，降低了矿井场景的影响，大幅提高了深度估计的精度。

公开(公告)号：CN116468770A

公开(公告)日：2023-07-21

申请号：CN202310247390.1

申请日：2023-03-15

Applicant: 中国矿业大学

Inventor： 寇旗旗 ,  徐帅 ,  程德强 ,  王子强 ,  张华强 ,  陈俊辉 ,  王奕 ,  赵麟敖 ,  程志威 ,  马祥 ,  姬广凯 ,  李龙 ,  郑丽娟 ,  张辉敏

IPC: G06T7/593 ,  G06T5/00 ,  G06T17/00

Abstract: 本发明公开了一种矿井安全隐患场景三维重建中自监督深度估计方法，首先分别构建正常光照图像和低光照图像的深度估计网络和姿态估计网络模型，在编码器解码器中间采用自注意力机制的位置感知模块，用以获取场景结构的上下文信息和更好的特征表示；在对网络训练的过程中，使用正常光照图像和通过CycleGAN处理得到的低光照图像进行训练，再采用映射图像增强(MIE)算法处理由CycleGAN输出的图像，以满足保持亮度一致性的需要，解决低光照和光照不均匀带来的影响。增强了细节处的特征表示，加强了对复杂背景处的深度估计效果。加入的映射图像增强模块使得低光照图像的亮度和对比度明显提高，从而为其带来更高的可见性，保留更多的细节。

公开(公告)号：CN118154655A

公开(公告)日：2024-06-07

申请号：CN202410387207.2

申请日：2024-04-01

Applicant: 中国矿业大学

Inventor： 寇旗旗 ,  程德强 ,  孙凤乾 ,  郑平 ,  陈俊辉

IPC: G06T7/50 ,  G06T11/00 ,  G06T7/70 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0464 ,  G06V10/80 ,  G06V10/44 ,  G06N3/08

Abstract: 本发明涉及三维场景感知技术领域，具体涉及一种矿井辅助运输车辆无人驾驶的单目深度估计方法,包括：对当前帧图像进行深度估计，获得深度图；将深度图、当前帧图像以及上下多帧图像输入至多帧位姿优化模块中获得相机相对位姿变化T0→final；结合T0→final和深度图进行图像重建，得到由当前帧图像投影到上下多帧视角的投影图像；计算光度重投影损失函数和次要损失函数，得到总损失，并进行多次学习迭代得到训练完成的深度估计网络模型；将单张图像作为训练完成的深度估计网络模型的输入，经模型预测后得到图像深度估计结果。本发明通过多帧位姿优化模块缓解了位姿估计不准确的问题，降低了矿井场景的影响，大幅提高了深度估计的精度。

公开(公告)号：CN115439793A

公开(公告)日：2022-12-06

申请号：CN202211200631.9

申请日：2022-09-29

Applicant: 中国矿业大学 ,  江苏华图矿业科技有限公司

Inventor： 王奕 ,  程德强 ,  寇旗旗 ,  张华强 ,  陈俊辉 ,  韩成功 ,  吕晨 ,  张皓翔

IPC: G06V20/40 ,  G06V20/52 ,  G06V10/82 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向矿井煤流AI视频分析的异物识别系统，属于图像处理技术领域，包括数据收集模块，采用工业相机对履带上的煤流进行实时视频监控收集；黑夜检测模块，采用改进的U‑net网络结构作为模型，对底片进行预测得到RGB图片；YOLOv4模块，用于对RGB图片进行预测得到目标的位置和类别，使用CSPDarknet53作为该模块整体网络模型的主干网络。基于此还提供了一种面向矿井煤流AI视频分析的异物识别方法，利用加入黑夜检测模块对底片进行预测得到RGB图片，解决了光线不足能见度低的问题，然后用YOLO v4模块对RGB进行预测得到目标的位置和类别，提高了矿井异物识别算法的检测精度和检测速度。

公开(公告)号：CN115294282A

公开(公告)日：2022-11-04

申请号：CN202211003081.1

申请日：2022-08-19

Applicant: 中国矿业大学

Inventor： 陈俊辉 ,  程德强 ,  寇旗旗 ,  徐飞翔 ,  王晓艺 ,  韩成功 ,  张皓翔 ,  吕晨

IPC: G06T17/00 ,  G06T7/70 ,  G06T7/579 ,  G06T7/246 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种三维场景重建中增强特征融合的单目深度估计系统，该系统包括单目深度估计网络，单目深度估计网络采用自监督方式优化训练；单目深度估计网络包括深度估计网络和位姿预测网络，深度估计网络用于帮助目标图像恢复深度；位姿预测网络用于输出邻帧间运动量；深度估计网络包括深度编码器和深度解码器；深度编码器接用于提取输入图像的深度信息特征；深度解码器生成各尺度的深度预测图；深度编码器与深度解码器采用全尺度跳跃连接，获得全尺度的编、解码器特征信息，并将其融合。本发明通过深度编码器和深度解码器采用全尺度跳跃连接，优化学习分配各层特征信息的参数权重，得到精确的深度边界与预测精度。

公开(公告)号：CN116664649A

公开(公告)日：2023-08-29

申请号：CN202310247388.4

申请日：2023-03-15

Applicant: 中国矿业大学

Inventor： 寇旗旗 ,  张华强 ,  程德强 ,  王奕 ,  陈俊辉 ,  范舒铭 ,  王子强 ,  徐帅 ,  赵麟敖 ,  寇涵博 ,  程志威 ,  马祥 ,  姬广凯 ,  李龙

IPC: G06T7/529 ,  G06T9/00

Abstract: 本发明公开了一种矿井增强现实无人开采工作面深度估计方法，属于图像处理技术领域，构建卷积层、池化层、残差层、下采样模块组成的深度编码器，在编码器网络浅层提取图像浅层高分辨率特征信息，在编码器网络深层通过卷积操作的堆叠，提取图像低分率特征信息，将浅层的高分辨率特征图通过层级特征调整模块融合到深层的低分率特征图中；构建由反卷积层、上采样模块以及跳跃连接组成的深度解码器网络，估计图像的深度；构建相机位姿预测网络，通过相机邻帧间运动位姿的估计重投影到目标图像的光度损失作为自监督信号约束；构建改进的颜色‑几何差异信息来预测共平面深度图模块，用向量梯度渐变作为约束信号，约束预测初始深度图和预测共平面深度图。