-
公开(公告)号:CN117036778A
公开(公告)日:2023-11-10
申请号:CN202310826971.0
申请日:2023-07-07
Applicant: 南京邮电大学
IPC: G06V10/764 , G06V10/74 , G06V10/774 , G06V20/70 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于图文转换模型的安全隐患识别标注方法,包括:获取安全生产监管场景中的待识别图像;利用图文转换模型,根据输入的待识别图像生成图像的文本描述;其中所述图文转换模型包括内存增强的编码器和网格注意力解码器;将图像的文本描述与预构建的安全隐患描述列表中的场景文本描述进行相似度匹配,获取匹配到的场景文本描述对应的安全隐患的文字描述和关键词;其中所述安全隐患描述列表包括存在安全隐患的场景文本描述以及对应的安全隐患的文字描述和关键词;利用条件目标检测模型,根据匹配到的关键词在待识别图像中安全隐患位置添加目标框并标注安全隐患的文字描述。能够为安全生产监管提供一种智能识别和标注手段。