公开(公告)号：CN113408430A

公开(公告)日：2021-09-17

申请号：CN202110692364.0

申请日：2021-06-22

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  杨凯悦 ,  殷楠楠 ,  谢金宝 ,  梁欣涛

IPC: G06K9/00 ,  G06F40/211 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于多级策略和深度强化学习框架的图像中文描述系统及方法，属于计算机视觉和自然语言处理的交叉领域，图像中文描述方法针对图像中文描述中生成语句的连贯性不佳、可读性差、模型训练时间长等问题；基于RNN的模型，语言指标和视觉语义功能集成以进行优化。所提出的框架包括多级策略网络和多级奖励功能两个模块，引入ResNet152网络提取图像全局特征,通过双层门控循环单元网络(GRU)解码生成图像中文描述模型。本文使用AI Challenger全球AI挑战赛图像中文描述数据集进行实验，并针对词级策略网络和语言奖励功能的几种代表性图像文本模型实验结果表明，该框架在各种评估指标上均具有提升。

公开(公告)号：CN113408430B

公开(公告)日：2022-09-09

申请号：CN202110692364.0

申请日：2021-06-22

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  杨凯悦 ,  殷楠楠 ,  谢金宝 ,  梁欣涛

IPC: G06K9/00 ,  G06F40/211 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于多级策略和深度强化学习框架的图像中文描述系统及方法，属于计算机视觉和自然语言处理的交叉领域，图像中文描述方法针对图像中文描述中生成语句的连贯性不佳、可读性差、模型训练时间长等问题；基于RNN的模型，语言指标和视觉语义功能集成以进行优化。所提出的框架包括多级策略网络和多级奖励功能两个模块，引入ResNet152网络提取图像全局特征,通过双层门控循环单元网络(GRU)解码生成图像中文描述模型。本文使用AI Challenger全球AI挑战赛图像中文描述数据集进行实验，并针对词级策略网络和语言奖励功能(56)对比文件王玉静等.Chinese Alt Text WritingBased on Deep Learning《.Internationalinformation and Engineering technologyassociation》.2019,第36卷(第2期),161-170.Soheyla Amirian等.Automatic Image andVideo Caption Generation With DeepLearning: A Concise Review andAlgorithmic Overlap《.IEEE Access》.2020,第8卷全文.徐航.基于深度网络与多特征融合的视频语义描述方法研究《.中国优秀硕士学位论文全文数据库 (信息科技辑)》.2020,(第2期),全文.