公开(公告)号：CN110737339A

公开(公告)日：2020-01-31

申请号：CN201911029362.2

申请日：2019-10-28

Applicant: 福州大学

Inventor： 赵铁松 ,  薛鸿 ,  徐艺文 ,  陈炜玲 ,  乔杨珺 ,  袁迪

IPC: G06F3/01 ,  G06N3/04 ,  G06F11/34

Abstract: 本发明涉及一种基于深度学习的视觉—触觉交互模型构建方法。首先，基于设计的三种虚拟交互任务，获得不同任务下视觉注意力和触感控制之间的相关性，进行跨模态行为分析；其次，根据相关性，利用LSTM神经网络建立视觉—触觉交互预测模型，实现不同任务的交互模型，并进行性能对比和评价；最后，利用训练模型预测出的结果在虚拟控制任务中进行实施，判断任务中目标的完成情况。本发明方法较采用传统的基于机器学习的训练模型相比，基于深度学习的LSTM神经网络模型预测效果最好，并在非随机任务中任务完成度较高，优势明显。

公开(公告)号：CN110737339B

公开(公告)日：2021-11-02

申请号：CN201911029362.2

申请日：2019-10-28

Applicant: 福州大学

Inventor： 赵铁松 ,  薛鸿 ,  徐艺文 ,  陈炜玲 ,  乔杨珺 ,  袁迪

IPC: G06F3/01 ,  G06N3/04 ,  G06F11/34

Abstract: 本发明涉及一种基于深度学习的视觉—触觉交互模型构建方法。首先，基于设计的三种虚拟交互任务，获得不同任务下视觉注意力和触感控制之间的相关性，进行跨模态行为分析；其次，根据相关性，利用LSTM神经网络建立视觉—触觉交互预测模型，实现不同任务的交互模型，并进行性能对比和评价；最后，利用训练模型预测出的结果在虚拟控制任务中进行实施，判断任务中目标的完成情况。本发明方法较采用传统的基于机器学习的训练模型相比，基于深度学习的LSTM神经网络模型预测效果最好，并在非随机任务中任务完成度较高，优势明显。