公开(公告)号：CN119851264A

公开(公告)日：2025-04-18

申请号：CN202411921967.3

申请日：2024-12-25

Applicant: 安徽农业大学

Inventor： 丁文荣 ,  蒋婷婷 ,  宋旭婷 ,  杨帅 ,  辜丽川

IPC: G06V20/68 ,  G06V10/26 ,  G06V10/143 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06F18/25 ,  G06V10/25 ,  G06N5/04

Abstract: 本发明公开了一种基于多模态融合技术的复杂场景下苹果果实检测方法，包括：1、构建数据集；2、可见光图像与红外光图像特征融合；3、对融合得到的可见光图像特征进行掩码并与视觉特征进行融合；4、将融合后的视觉特征与文本特征融合；5、对可见光图像特征进行过滤；6、将可见光图像特征与文本特征输入到词‑区域相似度计算中；7、结合Soft‑NMS和Focal‑EIOU选取最优目标框。本发明将红外光图像、可见光图像、文本三种模态进行特征融合，综合考虑了不同模态的互补优势。并且利用软非极大值抑制(Soft‑NMS)和Focal‑EIOU来选取最优目标框，有效提高了复杂条件下苹果果实的检测精度。

公开(公告)号：CN117456279B

公开(公告)日：2025-04-22

申请号：CN202311623115.1

申请日：2023-11-30

Applicant: 安徽农业大学

Inventor： 丁文荣 ,  蒋婷婷 ,  张珺 ,  杨帅 ,  刘倩 ,  何进 ,  王超 ,  王庆勇 ,  马文涛 ,  辜丽川

IPC: G06V10/764 ,  G06V20/00 ,  G06N5/022 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种融合知识图谱与图像识别的垃圾分类方法，包括：1、构建知识图谱，捕捉垃圾实体与种类之间的关系2、利用Ac自动机树，提取问题中的垃圾实体名；3、利用TransR模型提取垃圾实体的文本向量；4、设定疑问词列表，提取问题中的疑问词，根据疑问词是否在疑问词列表中和问题中是否有垃圾实体名来对问题进行分类；5、针对不同类型的问题，返回不同的答案模板；6、构建图像识别模型，获取垃圾图片的向量；7、将垃圾实体的文本向量和图片向量，结合注意力机制将相互对应的向量进行拼接，得到垃圾实体的融合向量后，最终返回垃圾的类别。本发明融合了知识图谱和图像识别，能更稳定、更便捷、更高效的实现垃圾分类。

公开(公告)号：CN117456279A

公开(公告)日：2024-01-26

申请号：CN202311623115.1

申请日：2023-11-30

Applicant: 安徽农业大学

Inventor： 丁文荣 ,  蒋婷婷 ,  张珺 ,  杨帅 ,  刘倩 ,  何进 ,  王超 ,  王庆勇 ,  马文涛 ,  辜丽川

IPC: G06V10/764 ,  G06V20/00 ,  G06N5/022 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种融合知识图谱与图像识别的垃圾分类方法，包括：1、构建知识图谱，捕捉垃圾实体与种类之间的关系2、利用Ac自动机树，提取问题中的垃圾实体名；3、利用TransR模型提取垃圾实体的文本向量；4、设定疑问词列表，提取问题中的疑问词，根据疑问词是否在疑问词列表中和问题中是否有垃圾实体名来对问题进行分类；5、针对不同类型的问题，返回不同的答案模板；6、构建图像识别模型，获取垃圾图片的向量；7、将垃圾实体的文本向量和图片向量，结合注意力机制将相互对应的向量进行拼接，得到垃圾实体的融合向量后，最终返回垃圾的类别。本发明融合了知识图谱和图像识别，能更稳定、更便捷、更高效的实现垃圾分类。