基于双模态交互的开放词汇三维场景理解方法

    公开(公告)号:CN118606900A

    公开(公告)日:2024-09-06

    申请号:CN202411081166.0

    申请日:2024-08-08

    Abstract: 本发明涉及涉及图像处理和计算机视觉技术领域,公开基于双模态交互的开放词汇三维场景理解方法,包括以下步骤:将原始点云数据输入三维场景理解模型,得到三维场景理解特征,所述三维场景理解特征同时具有文本信息描述和点云特征向量;所述三维场景理解模型包括点云特征提取网络、预训练图像语义提案网络、预训练图像生成文本网络、预训练文本编码网络、自适应语言文本编码器;构建损失函数对所述三维场景理解模型进行训练,所述损失函数包括实例预测损失函数、分类损失函数、图文匹配损失函数、关联损失函数。本发明结合点云、图像和语言类的模型,通过开放词汇和未见类别提高对三维场景的理解。

    基于语义SAM大模型的三维点云鲁棒性部件分割方法

    公开(公告)号:CN118397282B

    公开(公告)日:2024-08-30

    申请号:CN202410849292.X

    申请日:2024-06-27

    Abstract: 本发明涉及计算机视觉技术领域,公开基于语义SAM大模型的三维点云鲁棒性部件分割方法,包括步骤:将三维点云数据通过多视角投影到二维深度图;使用语义SAM大模型融合各个视角下的二维深度图,得到融合特征图,以学习融合特征图中的部件级语义信息;通过适配器模块微调语义SAM大模型,将各个视角的二维深度图作为训练数据,对语义SAM大模型进行训练,使语义SAM大模型输出二维分割结果;语义SAM大模型将输出的二维分割结果集成回三维点云数据中,实现部件的三维点云分割。本发明提升了三维点云分割在复杂环境下的鲁棒性。

    眼动+飞行数据的模拟机飞行训练讲评系统及方法

    公开(公告)号:CN116824954B

    公开(公告)日:2024-03-01

    申请号:CN202310799748.1

    申请日:2023-07-03

    Abstract: 性提出改进措施,可显著提升讲评质量和效果。本发明涉及眼动+飞行数据的模拟机飞行训练讲评系统及方法,该系统包括:眼动数据采集与分析处理模块,用于采集并处理模拟机飞行训练过程中的眼动数据;飞行数据采集与处理模块,用于采集并处理模拟机飞行训练过程中的飞行数据;人为因素分析与识别模块,用于构建工作负荷与情境意识预测模型,将所述眼动数据输入所述工作负荷与情境意识预测模型,获取工作负荷水平和情境意识水平;动态讲评模块,用于根据处理后的眼动数据、处理后的飞行数据以及(56)对比文件李 莹《.眼动仪对提升基础模拟飞行能力的量化研究》《.天津科技》.2021,第48卷(第12期),31-33.

    一种飞行异常状态识别与预测系统及方法

    公开(公告)号:CN117009908B

    公开(公告)日:2024-01-12

    申请号:CN202311237715.4

    申请日:2023-09-25

    Abstract: 本发明涉及一种飞行异常状态识别与预测系统及方法,属于电数字数据处理技术领域,针对“暴雨或大风天气时,受阻力影响,其实际飞行高度与目标飞行高度不匹配、实际飞行角度与目标飞行角度不匹配等”设计一套飞行器飞行状态异常的识别与预测方案,通过降雨强度检测装置、刮风强度检测装置、高度指令获取装置、角度指令获取装置、实际高度检测装置、实际角度检测装置之间的有序配合动作,可避免大部分装置长时间处于无效动作状态,降低系统性能耗,同时降低系统的误动作率,保障系统整体识别与预测结果的可靠性。(56)对比文件祁超帅 等.无人机飞行数据异常检测算法综述《.计算机应用》.2022,第43卷(第6期),第1833-1841页.Hyojung Ahn等.Learning-Based AnomalyDetection and Monitoring for Swarm DroneFlights《.Applied Sciences》.2019,第9卷(第24期),第1-17页.

    基于红外与可见光图像配准的机场环境异常识别系统

    公开(公告)号:CN116309569B

    公开(公告)日:2023-08-22

    申请号:CN202310558826.9

    申请日:2023-05-18

    Abstract: 本发明涉及基于红外与可见光图像配准的机场环境异常识别系统,属于图像数据处理技术领域,通过红外探测装置、可见光成像装置、第一位置检测装置、第二位置检测装置、第一方向检测装置、第二方向检测装置、图像大小检测装置、图像轮廓检测装置之间的有序配合启动,可在红外图像信息与可见光图像信息配准异常时进行自动异常检测;根据红外图像信息与可见光图像信息配准异常时的各项历史数据,给出针对红外探测装置和可见光成像装置的位置检测、方向检测、图像大小检测、图像轮廓检测,便于相关工作人员针对相应的异常情况进行快速反应处理;先进行位置检测、方向检测,在进行图像大小检测、图像轮廓检测的逐步检测模式,可避免各个环节重复检测。

    基于对比性语言图像预训练技术的点云实例分割方法

    公开(公告)号:CN116152267B

    公开(公告)日:2023-07-04

    申请号:CN202310448684.0

    申请日:2023-04-24

    Abstract: 本发明涉及基于对比性语言图像预训练技术的点云实例分割方法,包括步骤:获取点云数据,进行预处理后,得到文本信息、点云训练数据集;构建跨模态预训练模型,跨模态预训练模型包括稀疏卷积神经网络、预训练编码网络、预测网络;将点云训练数据集输入稀疏卷积神经网络,得到体素级别的点云特征;将文本信息与体素级别的点云特征进行融合,得到融合点云特征;对融合点云特征进行线性投影得到实例掩码特征,对文本信息提取出文本特征,将融合点云特征、实例掩码特征、文本特征输入预训练编码网络,得到查询的向量值;将查询的向量值输入预测网络,得到分割的实例结果。本发明在将融合点云特征和文本特征整合在一起,能够更好地捕获这两类信息。

    基于背景建模和细节增强的低照度图像增强方法

    公开(公告)号:CN116137023B

    公开(公告)日:2023-06-20

    申请号:CN202310425949.5

    申请日:2023-04-20

    Abstract: 本发明涉及基于背景建模和细节增强的低照度图像增强方法,包括步骤:获取若干张低照度图像和配对的正常光照图像,并进行预处理,得到训练数据集;构建图像增强网络模型,并使用目标损失函数对图像增强网络模型进行约束;使用训练数据集对所述图像增强网络模型进行训练,直到误差收敛到预设值,得到训练好的图像增强网络模型。本发明的图像增强网络模型能对低照度图像进行背景建模,以及细节恢复,并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强,解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

    基于背景建模和细节增强的低照度图像增强方法

    公开(公告)号:CN116137023A

    公开(公告)日:2023-05-19

    申请号:CN202310425949.5

    申请日:2023-04-20

    Abstract: 本发明涉及基于背景建模和细节增强的低照度图像增强方法,包括步骤:获取若干张低照度图像和配对的正常光照图像,并进行预处理,得到训练数据集;构建图像增强网络模型,并使用目标损失函数对图像增强网络模型进行约束;使用训练数据集对所述图像增强网络模型进行训练,直到误差收敛到预设值,得到训练好的图像增强网络模型。本发明的图像增强网络模型能对低照度图像进行背景建模,以及细节恢复,并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强,解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

Patent Agency Ranking