公开(公告)号：CN118918531A

公开(公告)日：2024-11-08

申请号：CN202411031906.X

申请日：2024-07-30

Applicant: 燕山大学

Inventor： 张世辉 ,  陈坤 ,  苏俊斌 ,  翟刚正

IPC: G06V20/52 ,  G06V10/40 ,  G06V10/80 ,  G06V10/30 ,  G06V10/52 ,  G06V10/766 ,  G06V10/82 ,  G06N3/045 ,  G06N3/042 ,  G06N3/0464

Abstract: 本发明公开了一种基于跨模态与多尺度感知的RGB‑T人群计数方法，属于计算机视觉领域，包括：将成对的RGB和热度图像输入由Swin Transformer组成的双流网络中，提取各个模态的特定特征图；跨模态特征融合模块接收双流网络的第2,3,4阶段的输出，在各个模态间共享特征并有效去噪；多尺度特征汇聚模块接收来自跨模态特征融合模块的跨模态融合特征图，通过空间上下文感知图卷积单元建模各个尺度的人群空间结构，随后整合不同尺度的特征图；将多尺度特征汇聚模块整合的多尺度特征图送入回归头得到密度图；将密度图逐像素相加得到人群计数结果。本发明解决了跨模态特征融合过程引入噪音信息及人群分布不均匀所致的计数难题。

公开(公告)号：CN117911905A

公开(公告)日：2024-04-19

申请号：CN202410142101.6

申请日：2024-02-01

Applicant: 燕山大学

Inventor： 张世辉 ,  王磊 ,  陈坤 ,  苏俊斌

IPC: G06V20/17 ,  G06V10/764 ,  G06V10/26 ,  G06V10/774 ,  G06V10/82 ,  G06V20/70 ,  G06N3/094 ,  G06N3/0475 ,  G06N3/096

Abstract: 本发明公开了基于条件生成对抗和平均教师模型的草图语义分割方法，属于计算机视觉领域，包括数据集选取；基于笔画的连续性，设计伪笔画搜索算法，依据伪笔画信息，使用增强型局部特征聚集模块，提取手绘草图的局部特征；建立关系‑图卷积神经网络，设计语义分割模型；建立条件生成对抗模型，利用重复训练过程，使用无语义分割标注的手绘草图改善语义分割模型性能；基于平均教师模型，构建手绘草图的语义分类网络，通过使用无语义分类标注的手绘草图提升语义分类效果；将条件生成对抗模型输出的语义分割结果与平均教师模型输出的语义类型相结合，生成最终的语义分割图。本发明在不依赖笔画时序信息的情况下，具有较大的性能优势。