公开(公告)号：CN108009154B

公开(公告)日：2021-01-05

申请号：CN201711385165.5

申请日：2017-12-20

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  吕世伟 ,  谢金宝 ,  殷楠楠 ,  谢桂芬 ,  李佰蔚

IPC: G06F40/289 ,  G06F40/242 ,  G06F16/583 ,  G06N3/04

Abstract: 本发明一种基于深度学习模型的图像中文描述方法属于计算机视觉与自然语言处理领域；包括准备ImageNet图像数据集和AI Challenger图像中文描述数据集；对ImageNet图像数据集利用DCNN进行预训练，得到DCNN预训练模型；对AI Challenger图像中文描述数据集进行图像特征提取和图像特征映射，传输到GRU门限递归网络循环神经网络；对AI Challenger图像中文描述数据集中的AI Challenger图像标注集进行词编码矩阵构建；利用NNLM提取词嵌入特征，完成文本特征映射；GRU门限递归网络循环神经网络作为语言生成模型，完成图像描述模型构建；中文描述语句生成；本发明弥补了图像中文描述的空白，实现自动生成图像中文描述的功能，并且在描述内容的准确性上有很好的改进，为中文NLP以及计算机视觉的发展奠定了基础。

公开(公告)号：CN109992780B

公开(公告)日：2022-07-01

申请号：CN201910249992.4

申请日：2019-03-29

Applicant: 哈尔滨理工大学

Inventor： 谢金宝 ,  王振东 ,  马骏杰 ,  战岭 ,  吕世伟

IPC: G06F16/35 ,  G06F40/289 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

公开(公告)号：CN108830287A

公开(公告)日：2018-11-16

申请号：CN201810349798.9

申请日：2018-04-18

Applicant: 哈尔滨理工大学

Inventor： 谢金宝 ,  吕世伟 ,  刘秋阳 ,  李佰蔚 ,  梁新涛 ,  王玉静

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明一种基于残差连接的Inception网络结合多层GRU网络的中文图像语义描述方法属于计算机视觉与自然语言处理领域；包括利用开源框架tensorflow对AI Challenger图像中文描述训练集以及评估集进行预处理生成用于训练的tfrecord格式文件；利用Inception_ResNet_v2网络对ImageNet数据集进行预训练，得到卷积网络预训练模型；加载预训练参数至Inception_ResNet_v2网络中并对AI Challenger图像集进行图像特征描述子的抽取；建立单隐层神经网络模型将图像特征描述子映射到词嵌入空间；将词嵌入特征矩阵与二次特征映射后的图像特征描述子作为双层GRU网络的输入；将原始图片输入到图说模型生成中文描述语句；使用评估数据集利用训练好的模型以Perplexity指标作为评估标准进行评估；本发明实现了用中文描述图像的技术问题，加强了语句的连贯性与可读性。

公开(公告)号：CN108009154A

公开(公告)日：2018-05-08

申请号：CN201711385165.5

申请日：2017-12-20

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  吕世伟 ,  谢金宝 ,  殷楠楠 ,  谢桂芬 ,  李佰蔚

IPC: G06F17/27 ,  G06F17/30 ,  G06N3/04

Abstract: 本发明一种基于深度学习模型的图像中文描述方法属于计算机视觉与自然语言处理领域；包括准备ImageNet图像数据集和AI Challenger图像中文描述数据集；对ImageNet图像数据集利用DCNN进行预训练，得到DCNN预训练模型；对AI Challenger图像中文描述数据集进行图像特征提取和图像特征映射，传输到GRU门限递归网络循环神经网络；对AI Challenger图像中文描述数据集中的AI Challenger图像标注集进行词编码矩阵构建；利用NNLM提取词嵌入特征，完成文本特征映射；GRU门限递归网络循环神经网络作为语言生成模型，完成图像描述模型构建；中文描述语句生成；本发明弥补了图像中文描述的空白，实现自动生成图像中文描述的功能，并且在描述内容的准确性上有很好的改进，为中文NLP以及计算机视觉的发展奠定了基础。

公开(公告)号：CN109992780A

公开(公告)日：2019-07-09

申请号：CN201910249992.4

申请日：2019-03-29

Applicant: 哈尔滨理工大学

Inventor： 谢金宝 ,  王振东 ,  马骏杰 ,  战岭 ,  吕世伟

IPC: G06F17/27 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。