基于多模态辅助的实现跨语言沟通系统及方法

    公开(公告)号:CN102262624A

    公开(公告)日:2011-11-30

    申请号:CN201110225342.X

    申请日:2011-08-08

    Abstract: 本发明提出基于多模态辅助的实现跨语言沟通系统及方法,所述方法利用实现跨语言沟通系统中的前台交互模块、数据管理模块和语义关联模块,通过分析谈话内容,利用自然语言处理工具能够自动地提取对话中的中心议题及关键字,并语义关联模块根据检测到的中心议题与关键字信息,自动地搜索相关的图片和视频片段并以恰当的方式提供给谈话双方,从而达到促进彼此的了解和沟通。这里,作为辅助理解的图片和视频,既可以通过搜索的方法从网络自动扒取,也可以从一个预先已标注好的多媒体库中直接获取。最后,系统根据谈话双方的文本聊天信息以及与之相对应的图片和视频内容,生成一个多模态的谈话摘要。

Patent Agency Ranking