公开(公告)号：CN111695010A

公开(公告)日：2020-09-22

申请号：CN202010088042.0

申请日：2020-02-12

Applicant: 富士施乐株式会社

Inventor： 刘琼 ,  R·袁 ,  胡昊 ,  张艳霞 ,  Y·Y·陈 ,  弗朗辛·陈

IPC: G06F16/906 ,  G06N3/04 ,  G06N3/08

Abstract: 在无需文本标签的情况下学习感官媒介关联的系统和方法。一种学习感官媒介关联的计算机实现的方法包括：接收第一类型的非文本输入和第二类型的非文本输入；使用具有第一卷积神经网络的第一自动编码器对第一类型的非文本输入进行编码和解码，并且使用具有第二卷积神经网络的第二自动编码器对第二类型的非文本输入进行编码和解码；通过学习与第一模态关联的第一自动编码器表示和与第二模态关联的第二自动编码器表示之间的映射的深度神经网络将第一自动编码器表示和第二自动编码器表示桥接；以及基于所述编码、解码和桥接，在第一模态或第二模态下基于第一类型的非文本输入或第二类型的非文本输入来生成第一类型的非文本输出和第二类型的非文本输出。