Invention Grant
- Patent Title: 一种基于分层的图与文语义一致性智能评估方法
-
Application No.: CN202111325660.3Application Date: 2021-11-10
-
Publication No.: CN114021558BPublication Date: 2022-05-10
- Inventor: 郭雷 , 李玉红 , 王岩 , 乔建忠
- Applicant: 北京航空航天大学杭州创新研究院
- Applicant Address: 浙江省杭州市滨江区长河街道创慧街18号
- Assignee: 北京航空航天大学杭州创新研究院
- Current Assignee: 北京航空航天大学杭州创新研究院
- Current Assignee Address: 浙江省杭州市滨江区长河街道创慧街18号
- Main IPC: G06F40/279
- IPC: G06F40/279 ; G06F40/30 ; G06F40/216

Abstract:
本发明涉及一种基于分层的图与文语义一致性智能评估方法,采用深度学习表示出图像、文本特征;采用自下而上(bottom‑up)、空间、通道相混合的注意力机制对图像场景进行理解,并将光照、视角、尺度、遮挡等信息考虑在内提取出显著的图像区域特征;从语义学考虑语义一致性,构建本体(object)、属性(property)、关系(relation)、全局(global)四个层次的评估指标模型进行分层次评估;最后加权给出图像与其标题内容最终的语义一致性程度,评估结果考虑了图像本身信息和语义要素层次,能够更加客观、清楚地反映各层次对图像与图像标题语义一致性影响的不同程度。
Public/Granted literature
- CN114021558A 一种基于分层的图与文语义一致性智能评估方法 Public/Granted day:2022-02-08
Information query