公开(公告)号：CN112257775A

公开(公告)日：2021-01-22

申请号：CN202011130476.9

申请日：2020-10-21

Applicant: 东南大学

Inventor： 李浩天 ,  汪鹏 ,  朱佳涛 ,  曹思辰 ,  李翔宇 ,  曾家俊

IPC: G06K9/62 ,  G06F40/166 ,  G06F40/242 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明提供一种基于卷积神经网络和无监督语言模型的由图成诗的方法，该方法由图像实体识别与情感识别、基于情感基调的关键词扩展和中国古诗生成三个模块组成。本发明无需用户手动输入用于作诗的文本，用户在使用时只需输入目标图像，该方法将会利用卷积神经网络自动从输入图像中提取实体词与情感词，并根据情感词对提取出的实体词进行相似度扩展来丰富作诗元素，形成关键词集合。本发明采用带有自注意力机制的无监督语言模型，利用双向生成算法根据关键词和情感标签自动生成内容与情感符合图像意境的中国古诗，并且设计了两个层次的内容检查方法来进一步保证生成古诗的质量，达到了良好的古诗生成效果。

公开(公告)号：CN112257775B

公开(公告)日：2022-11-15

申请号：CN202011130476.9

申请日：2020-10-21

Applicant: 东南大学

Inventor： 李浩天 ,  汪鹏 ,  朱佳涛 ,  曹思辰 ,  李翔宇 ,  曾家俊

IPC: G06V10/764 ,  G06V10/82 ,  G06F40/166 ,  G06F40/242 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明提供一种基于卷积神经网络和无监督语言模型的由图成诗的方法，该方法由图像实体识别与情感识别、基于情感基调的关键词扩展和中国古诗生成三个模块组成。本发明无需用户手动输入用于作诗的文本，用户在使用时只需输入目标图像，该方法将会利用卷积神经网络自动从输入图像中提取实体词与情感词，并根据情感词对提取出的实体词进行相似度扩展来丰富作诗元素，形成关键词集合。本发明采用带有自注意力机制的无监督语言模型，利用双向生成算法根据关键词和情感标签自动生成内容与情感符合图像意境的中国古诗，并且设计了两个层次的内容检查方法来进一步保证生成古诗的质量，达到了良好的古诗生成效果。