公开(公告)号：CN114241456B

公开(公告)日：2025-04-18

申请号：CN202111564304.7

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/44 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种利用特征自适应加权的安全驾驶监测方法。本发明研究了不同尺度的全局特征与关键点特征的融合策略。针对融合过程中的注意力问题，本发明并非直接级联全局特征和关键点特征，而是针对两者提出基于姿态的特征融合模块。驾驶员行为的类别差异表现在不同的图像区域，模型应关注不同输入图像的不同区域，因此提出了自适应加权模块，通过学习一组特定于输入数据的专家权值来选择用于计算的卷积核，这为驾驶员动作识别提供了一个新的方向，并进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

公开(公告)号：CN114241455B

公开(公告)日：2025-03-25

申请号：CN202111564299.X

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种基于关键点增强的驾驶员动作分类方法，本发明提出了高效的频道注意力模块来生成具有区别性的全局表示。同时，利用姿态估计提取驾驶员的关键点特征。考虑关键点信息的多样性，设计了自适应加权残差瓶颈，使输入关键点特征的模型权值具有动态性。然后融合全局分支和关键点分支的输出作为分类结果。本发明可进一步提高驾驶员行为识别准确率，在交通安全领域有重要的应用价值。

公开(公告)号：CN119579744A

公开(公告)日：2025-03-07

申请号：CN202411810801.4

申请日：2024-12-10

Applicant: 东南大学

Inventor： 路小波 ,  赵子瑜 ,  周思帆

IPC: G06T13/60 ,  G06T17/00 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公开了一种基于双分支物理知识嵌入的烟雾场景三维重建方法及系统，首先收集数据，计算各个观测视角下的流体感知参数，并计算各个像素的状态估计值，以状态估计值作为先验监督，预训练状态估计模块，以此来区分烟雾场景中的动态对象和静态对象；将静态对象送到静态分支，动态对象送到动态分支分别处理，估计静态对象的体积密度和外观颜色、估计动态对象的体积密度、外观颜色及速度场；利用流体求解模块更新动态对象的速度场及体积密度；对静态分支和动态分支的输出结果分别渲染并合成渲染，利用多视角的图像信息和物理知识先验作为监督约束，对模块参数不断迭代优化，最终重建出高保真的三维动态烟雾场景，并支持场景中任意视角的图像生成。

公开(公告)号：CN119540062A

公开(公告)日：2025-02-28

申请号：CN202411630875.X

申请日：2024-11-15

Applicant: 东南大学

Inventor： 路小波 ,  王威

IPC: G06T3/4053 ,  G06T3/4046 ,  G06T5/70 ,  G06T5/60 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于双重引导扩散模型的人脸超分辨率方法及系统，收集低分辨率非正面和高分辨率正面人脸图像，构建训练数据对；将低分辨率非正面人脸图像初步复原后获取粗略正面人脸图像；将像素空间的人脸图像映射到隐式空间，使扩散模型在隐式空间中计算，预训练无条件扩散模型，将训练结果作为扩散模型的初始化参数，冻结去噪网络的编码器；从粗略正面人脸图像中提取面部先验特征，通过混合交叉注意机制捕捉面部先验特征和去噪特征之间的空间和语义相关性；提取面部身份编码信息，并嵌入去噪网络；初始化高斯噪声图，利用训练好的扩散模型不断迭代去噪，将隐式空间中的去噪结果映射到像素空间，最终重建出高分辨率正面人脸图像。

公开(公告)号：CN114241454B

公开(公告)日：2024-04-23

申请号：CN202111564286.2

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/774 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种利用重映射注意力识别分心驾驶的方法，设计了多尺度注意力编码器以提取驾驶员图像的全局特征。由于姿势估计中的热图提供了身体部位的表达性非参数编码，通过对驾驶员部位热图和全局特征图进行哈达玛乘积，将部位信息投影到全局特征上，从而增强了驾驶员行为描述符的辨别力，为了提高鲁棒性和泛化能力，提出了部位注意力丢弃操作，即在训练过程中随机丢失某部位热图，以应对其不可见的情况。本发明引导模型着重于与驾驶员行为相关的部位，可进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

公开(公告)号：CN113506268B

公开(公告)日：2024-04-23

申请号：CN202110785139.1

申请日：2021-07-12

Applicant: 东南大学

Inventor： 路小波 ,  陈彦杞 ,  魏运

IPC: G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0895

Abstract: 本发明涉及一种面向铁轨图像的半监督异物检测方法，包括以下步骤：使用高清相机获得铁路轨道的二维图像，并将其转换为灰度图；采用基于GAN的异常检测方法，在模型训练阶段只输入正常的铁轨图像；在测试阶段模型可已重构出正常样本的图像，却无法重构出异常样本图像；在推理阶段，设置一个阈值，当重构图像与原图之间差异大于所设阈值，该图像就被判定为异常。本发明采用半监督的方式，在模型训练时不需要异常样本图像，并且在推理阶段可以准确地检测出铁轨异物图像。

公开(公告)号：CN117711021A

公开(公告)日：2024-03-15

申请号：CN202311739491.7

申请日：2023-12-18

Applicant: 东南大学

Inventor： 路小波 ,  冉智丹 ,  刘维

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/44 ,  G06T7/194 ,  G06V10/764

Abstract: 本发明公开了一种基于异常感知语义自对齐的视频行人重识别方法及系统，利用骨干网络从视频片段输入中提取特征图；训练语义部位分类器，将特征图输入到分类器中得到各语义部位的置信图；用置信图对特征图执行加权池化以获得局部嵌入；再构造串联嵌入、前景嵌入和全局嵌入，并在此基础上构造三个联合损失函数来优化模型网络；重复执行步骤直到模型收敛；最后利用训练后的模型，固定模型参数，提取行人视频片段的前景嵌入和全局嵌入计算待检索行人样本与候选行人样本的距离，最终按距离从小到大进行排序得到行人重识别结果。本方法在没有先验人体拓扑信息的情况下定位不同语义部位，学习对异常信息具有鲁棒性的局部特征表示，有效提升了识别准确率。

公开(公告)号：CN114241453B

公开(公告)日：2024-03-12

申请号：CN202111561616.2

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/77 ,  G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种利用关键点注意力的驾驶员分心驾驶监测方法。该方法利用驾驶员的判别性关键点特征以区分具有相似外观的分心驾驶行为。本发明提出通道‑空间变换卷积来改进特征变换过程，以增强卷积特征的表示能力。同时，使用Lightweight OpenPose生成关键点热图，作为全局特征的注意力图，并提出关键点投影策略来融合关键点信息和卷积特征，即将每个关键点的热力图与全局特征图进行点乘以生成局部细化特征。关键点信息到全局特征的投影提高了最终分类表示的区分度，可进一步提高驾驶员分心驾驶监测准确率。本发明在交通安全领域有重要的应用价值。

公开(公告)号：CN116824408A

公开(公告)日：2023-09-29

申请号：CN202310779784.1

申请日：2023-06-28

Applicant: 东南大学

Inventor： 路小波 ,  杨晨悦

IPC: G06V20/17 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V10/42 ,  G06V10/44 ,  G06N3/045

Abstract: 本发明公开了一种基于多特征并行混合的航拍小目标检测方法，该方法包括：将最大池化引入自校正卷积中，强化对局部特征及上下文信息的识别；借助量子思想，在视觉多层感知机领域，将分割后得到的token之间的关系看作波函数的聚合，用最大池化生成幅值和相位，实现更好的聚合效果，在全局特征提取的同时加强局部特征提取；利用最大池化，深度可分离卷积，最大化自校正卷积和基于波的视觉多层感知机进行并行结合，得到多分支模块，实现局部特征的逐步外扩提取，获得更多小目标的上下文特征，将全局和局部的特征进行融合；运用所选的模块和YOLOX网络结合，在航拍小目标数据集上进行测试，我们的模型在输入分辨率较低时，实现了较高精度的小目标检测效果。

公开(公告)号：CN109784150B

公开(公告)日：2023-08-01

申请号：CN201811489325.5

申请日：2018-12-06

Applicant: 东南大学

Inventor： 路小波 ,  胡耀聪 ,  陆明琦

IPC: G06V20/40 ,  G06V20/59 ,  G06V10/764 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供了一种基于多任务时空卷积神经网络的视频驾驶员行为识别方法，将多任务学习策略引入到时空卷积神经网络的训练过程并应用于监控视频中的驾驶员行为识别，辅助的驾驶员定位和光流估计任务隐含地嵌入到视频分类任务中，促进卷积神经网络模型学习到更丰富的驾驶员局部空间和运动时间特征，以提升驾驶员行为识别的准确率。对比目前现有的驾驶员识别方法，本发明所设计的多任务时空卷积神经网络架构结合了帧间信息，泛化性强，识别准确率高，可用于监控视频下的实时驾驶员行为识别，在交通安全领域有重要的应用价值。