基于双模态交互的开放词汇三维场景理解方法

    公开(公告)号:CN118606900A

    公开(公告)日:2024-09-06

    申请号:CN202411081166.0

    申请日:2024-08-08

    Abstract: 本发明涉及涉及图像处理和计算机视觉技术领域,公开基于双模态交互的开放词汇三维场景理解方法,包括以下步骤:将原始点云数据输入三维场景理解模型,得到三维场景理解特征,所述三维场景理解特征同时具有文本信息描述和点云特征向量;所述三维场景理解模型包括点云特征提取网络、预训练图像语义提案网络、预训练图像生成文本网络、预训练文本编码网络、自适应语言文本编码器;构建损失函数对所述三维场景理解模型进行训练,所述损失函数包括实例预测损失函数、分类损失函数、图文匹配损失函数、关联损失函数。本发明结合点云、图像和语言类的模型,通过开放词汇和未见类别提高对三维场景的理解。

    基于语义SAM大模型的三维点云鲁棒性部件分割方法

    公开(公告)号:CN118397282B

    公开(公告)日:2024-08-30

    申请号:CN202410849292.X

    申请日:2024-06-27

    Abstract: 本发明涉及计算机视觉技术领域,公开基于语义SAM大模型的三维点云鲁棒性部件分割方法,包括步骤:将三维点云数据通过多视角投影到二维深度图;使用语义SAM大模型融合各个视角下的二维深度图,得到融合特征图,以学习融合特征图中的部件级语义信息;通过适配器模块微调语义SAM大模型,将各个视角的二维深度图作为训练数据,对语义SAM大模型进行训练,使语义SAM大模型输出二维分割结果;语义SAM大模型将输出的二维分割结果集成回三维点云数据中,实现部件的三维点云分割。本发明提升了三维点云分割在复杂环境下的鲁棒性。

    基于对比性语言图像预训练技术的点云实例分割方法

    公开(公告)号:CN116152267B

    公开(公告)日:2023-07-04

    申请号:CN202310448684.0

    申请日:2023-04-24

    Abstract: 本发明涉及基于对比性语言图像预训练技术的点云实例分割方法,包括步骤:获取点云数据,进行预处理后,得到文本信息、点云训练数据集;构建跨模态预训练模型,跨模态预训练模型包括稀疏卷积神经网络、预训练编码网络、预测网络;将点云训练数据集输入稀疏卷积神经网络,得到体素级别的点云特征;将文本信息与体素级别的点云特征进行融合,得到融合点云特征;对融合点云特征进行线性投影得到实例掩码特征,对文本信息提取出文本特征,将融合点云特征、实例掩码特征、文本特征输入预训练编码网络,得到查询的向量值;将查询的向量值输入预测网络,得到分割的实例结果。本发明在将融合点云特征和文本特征整合在一起,能够更好地捕获这两类信息。

    基于背景建模和细节增强的低照度图像增强方法

    公开(公告)号:CN116137023B

    公开(公告)日:2023-06-20

    申请号:CN202310425949.5

    申请日:2023-04-20

    Abstract: 本发明涉及基于背景建模和细节增强的低照度图像增强方法,包括步骤:获取若干张低照度图像和配对的正常光照图像,并进行预处理,得到训练数据集;构建图像增强网络模型,并使用目标损失函数对图像增强网络模型进行约束;使用训练数据集对所述图像增强网络模型进行训练,直到误差收敛到预设值,得到训练好的图像增强网络模型。本发明的图像增强网络模型能对低照度图像进行背景建模,以及细节恢复,并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强,解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

    基于背景建模和细节增强的低照度图像增强方法

    公开(公告)号:CN116137023A

    公开(公告)日:2023-05-19

    申请号:CN202310425949.5

    申请日:2023-04-20

    Abstract: 本发明涉及基于背景建模和细节增强的低照度图像增强方法,包括步骤:获取若干张低照度图像和配对的正常光照图像,并进行预处理,得到训练数据集;构建图像增强网络模型,并使用目标损失函数对图像增强网络模型进行约束;使用训练数据集对所述图像增强网络模型进行训练,直到误差收敛到预设值,得到训练好的图像增强网络模型。本发明的图像增强网络模型能对低照度图像进行背景建模,以及细节恢复,并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强,解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

    一种基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法

    公开(公告)号:CN115292485A

    公开(公告)日:2022-11-04

    申请号:CN202210672682.5

    申请日:2022-06-14

    Abstract: 本发明公开了一种基于SKEP‑ERNIE‑BiGRU网络模型结构的情感分类方法,包括如下步骤:数据预处理及构建数据集;对数据集中的训练集进行简单数据增广处理,形成最终数据集;对最终数据集中的同一批次每条样本分词处理为token序列,并以‘[CLS]’标识开头表示每句话的起始,‘[SEP]’标识结尾表示每句话的结尾;构建SKEP‑ERNIE‑BiGRU网络模型结构;SKEP‑ERNIE‑BiGRU模型训练及参数调优,得到最优模型;将测试集数据输入到最优模型中,输出情感分类。本发明对输入数据进行清洗及emoji表情转义以增强文本情感特征,对每条样本中随机单词进行简单数据增广,使得模型能充分学习语义情感特征。结果表明提出的模型在二元情感分类和三元情感分类上准确率较传统模型分别有4%和12%左右的提升。

    基于对比性语言图像预训练技术的点云实例分割方法

    公开(公告)号:CN116152267A

    公开(公告)日:2023-05-23

    申请号:CN202310448684.0

    申请日:2023-04-24

    Abstract: 本发明涉及基于对比性语言图像预训练技术的点云实例分割方法,包括步骤:获取点云数据,进行预处理后,得到文本信息、点云训练数据集;构建跨模态预训练模型,跨模态预训练模型包括稀疏卷积神经网络、预训练编码网络、预测网络;将点云训练数据集输入稀疏卷积神经网络,得到体素级别的点云特征;将文本信息与体素级别的点云特征进行融合,得到融合点云特征;对融合点云特征进行线性投影得到实例掩码特征,对文本信息提取出文本特征,将融合点云特征、实例掩码特征、文本特征输入预训练编码网络,得到查询的向量值;将查询的向量值输入预测网络,得到分割的实例结果。本发明在将融合点云特征和文本特征整合在一起,能够更好地捕获这两类信息。

Patent Agency Ranking