公开(公告)号：CN117095153A

公开(公告)日：2023-11-21

申请号：CN202311057126.8

申请日：2023-08-21

Applicant: 安徽农业大学

Inventor： 陈文骏 ,  饶元 ,  王坦 ,  王玉伟 ,  王丰仪 ,  徐峰 ,  金秀 ,  张雨 ,  柳迎春 ,  张武

IPC: G06V10/143 ,  G06V10/80 ,  G06V20/40 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0464 ,  G06N3/0499

Abstract: 本发明公开了一种多模态果实感知系统、装置及存储介质，属于计算机视觉技术领域。针对现有技术中存在的果实感知模型在弱光环境下感知效果不佳的问题，本发明通过多角度采集果实植株视频流数据，构建多模态果实图像数据集，将多模态视觉数据融合编码器接入目标检测模型的特征提取金字塔结构中得到多模态视觉数据融合骨干网络，再将多模态视觉数据融合骨干网络接入目标检测模型头部后进行训练，得到训练好的果实检测模块，通过果实检测模块对多模态果实图像数据进行预测，最后将预测结果通过果实感知模块进行处理，得到果实位置和类别信息。它可以在真实复杂环境下实现高精度检测，满足边缘轻量化部署和果实高精度感知需求。

公开(公告)号：CN118038451B

公开(公告)日：2024-06-21

申请号：CN202410431523.5

申请日：2024-04-11

Applicant: 安徽农业大学

Inventor： 陈文骏 ,  饶元 ,  王坦 ,  崔文礼 ,  侯文慧 ,  金秀 ,  江丹 ,  江朝晖 ,  张武 ,  李绍稳 ,  张雨

IPC: G06V20/68 ,  G06V10/80 ,  G06V10/74 ,  G06V10/774 ,  G06V10/762

Abstract: 本发明公开了一种开放世界果实检测模型构建方法、检测方法及电子设备，属于计算机视觉和自然语言处理技术领域。本发明构建所得检测模型包括：文本编码模块，用于生成输入文本的文本特征向量；图像编码模块，用于生成输入图像的图像特征向量；图文特征融合模块，用于多层融合和交互文本特征和图像特征，生成融合后的图像特征向量和文本特征向量；深度估计模块，用于生成输入图像的深度估计特征；目标检测头，用于进一步融合和提取所得的融合后的图像特征向量、文本特征向量和深度估计特征，得到预测结果。本发明结合图像、深度估计算法和开放文本，实现了未见类别的果实检测和定位。

公开(公告)号：CN118038451A

公开(公告)日：2024-05-14

申请号：CN202410431523.5

申请日：2024-04-11

Applicant: 安徽农业大学

Inventor： 陈文骏 ,  饶元 ,  王坦 ,  崔文礼 ,  侯文慧 ,  金秀 ,  江丹 ,  江朝晖 ,  张武 ,  李绍稳 ,  张雨

IPC: G06V20/68 ,  G06V10/80 ,  G06V10/74 ,  G06V10/774 ,  G06V10/762

Abstract: 本发明公开了一种开放世界果实检测模型构建方法、检测方法及电子设备，属于计算机视觉和自然语言处理技术领域。本发明构建所得检测模型包括：文本编码模块，用于生成输入文本的文本特征向量；图像编码模块，用于生成输入图像的图像特征向量；图文特征融合模块，用于多层融合和交互文本特征和图像特征，生成融合后的图像特征向量和文本特征向量；深度估计模块，用于生成输入图像的深度估计特征；目标检测头，用于进一步融合和提取所得的融合后的图像特征向量、文本特征向量和深度估计特征，得到预测结果。本发明结合图像、深度估计算法和开放文本，实现了未见类别的果实检测和定位。