-
公开(公告)号：CN110286763A
公开(公告)日：2019-09-27
申请号：CN201910543141.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。
-
公开(公告)号：CN111651035A
公开(公告)日：2020-09-11
申请号：CN202010284617.6
申请日：2020-04-13
Applicant: 济南大学
Abstract: 本申请公开了一种基于多模态交互的虚拟实验系统及方法，该实验系统主要包括输入层、感知与识别层、融合层以及应用层。该方法包括：分别通过视觉通道、触觉通道和听觉通道，采集相应的视觉信息、传感信号以及语音信号；分别对不同通道的信息进行识别；根据识别结果，采用基于决策层面的多模态融合方法，在AR平台上对视觉通道、触觉通道和听觉通道的模态信息所构建的相应向量集进行融合；根据融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。通过本申请，能够充分利用多种通道，并采用多模态融合的方法实现实验过程，有利于降低用户操作负荷，提高实验的沉浸感，提高虚拟交互的效率。
-
公开(公告)号：CN110554774A
公开(公告)日：2019-12-10
申请号：CN201910660335.9
申请日：2019-07-22
Applicant: 济南大学
Abstract: 本发明提出了一种面向AR的导航式交互范式系统，该系统包括输入与感知模块、融合模块以及应用表达模块；输入与感知模块通过kinect获取手部骨骼深度信息，得到手势深度图，完成手势识别；通过语音关键词识别和提取，对实验关键词分类，通过相似度计算得到相似度概率，完成语音识别；融合模块根据手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类，确定多模态意图，并且设置意图专家知识库；应用表达模块对虚拟化学实验进行语音导航，视觉呈现，以及通过进行感知力反馈表达。本发明采用自然交互技术融合手势和语音多模态，并探索一种自然交互模式，降低用户负荷，带来不同的用户体验。
-
公开(公告)号：CN109993135A
公开(公告)日：2019-07-09
申请号：CN201910274142.X
申请日：2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种基于增强现实的手势识别方法、系统及装置，该方法包括：获取人手的手势深度图和手势深度信息，将手势深度图分为训练集和测试集，将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对两个集合中的动态视频帧进行优化，建立一双结构网络识别模型，然后将测试集输入至该识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据手势深度信息和该识别模型，对手势进行识别。该系统包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请，能够有效提高手势识别的实时性和手势识别率，从而提高用户体验。
-
公开(公告)号：CN109993135B
公开(公告)日：2022-11-04
申请号：CN201910274142.X
申请日：2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种基于增强现实的手势识别方法、系统及装置，该方法包括：获取人手的手势深度图和手势深度信息，将手势深度图分为训练集和测试集，将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对两个集合中的动态视频帧进行优化，建立一双结构网络识别模型，然后将测试集输入至该识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据手势深度信息和该识别模型，对手势进行识别。该系统包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请，能够有效提高手势识别的实时性和手势识别率，从而提高用户体验。
-
Patent Agency Ranking
公开(公告)号：CN111651035B
公开(公告)日：2023-04-07
申请号：CN202010284617.6
申请日：2020-04-13
Applicant: 济南大学
IPC: G06F3/01 , G06V40/20 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本申请公开了一种基于多模态交互的虚拟实验系统及方法，该实验系统主要包括输入层、感知与识别层、融合层以及应用层。该方法包括：分别通过视觉通道、触觉通道和听觉通道，采集相应的视觉信息、传感信号以及语音信号；分别对不同通道的信息进行识别；根据识别结果，采用基于决策层面的多模态融合方法，在AR平台上对视觉通道、触觉通道和听觉通道的模态信息所构建的相应向量集进行融合；根据融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。通过本申请，能够充分利用多种通道，并采用多模态融合的方法实现实验过程，有利于降低用户操作负荷，提高实验的沉浸感，提高虚拟交互的效率。
-
公开(公告)号：CN110554774B
公开(公告)日：2022-11-04
申请号：CN201910660335.9
申请日：2019-07-22
Applicant: 济南大学
Abstract: 本发明提出了一种面向AR的导航式交互范式系统，该系统包括输入与感知模块、融合模块以及应用表达模块；输入与感知模块通过kinect获取手部骨骼深度信息，得到手势深度图，完成手势识别；通过语音关键词识别和提取，对实验关键词分类，通过相似度计算得到相似度概率，完成语音识别；融合模块根据手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类，确定多模态意图，并且设置意图专家知识库；应用表达模块对虚拟化学实验进行语音导航，视觉呈现，以及通过进行感知力反馈表达。本发明采用自然交互技术融合手势和语音多模态，并探索一种自然交互模式，降低用户负荷，带来不同的用户体验。
-
公开(公告)号：CN109993108A
公开(公告)日：2019-07-09
申请号：CN201910248541.9
申请日：2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种增强现实环境下的手势纠错方法、系统及装置，该方法首先获取人手的第一手势深度图和手势深度信息，然后利用手势识别模型判断当前手势是否可识别，当不可识别时，根据Hausdorff距离确定当前第二手势深度图的最小特征距离，最后通过Hausdorff距离确定第三手势深度图，并最终将第三手势深度图输入手势识别模型中，从而实现手势纠错。该系统包括：信息获取模块、预处理模块、第一输入模块、判断模块、最小特征距离确定模块、第三手势深度图确定模块和第二输入模块。该装置包括处理器以及与该处理器相连接的存储器，且处理器可执行如上所述的手势纠错方法。通过本申请，能够大大提高手势纠错的实时性和准确性。
-
公开(公告)号：CN110286763B
公开(公告)日：2022-09-23
申请号：CN201910543141.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。
-
公开(公告)号：CN109993108B
公开(公告)日：2019-12-03
申请号：CN201910248541.9
申请日：2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种增强现实环境下的手势纠错方法、系统及装置，该方法首先获取人手的第一手势深度图和手势深度信息，然后利用手势识别模型判断当前手势是否可识别，当不可识别时，根据Hausdorff距离确定当前第二手势深度图的最小特征距离，最后通过Hausdorff距离确定第三手势深度图，并最终将第三手势深度图输入手势识别模型中，从而实现手势纠错。该系统包括：信息获取模块、预处理模块、第一输入模块、判断模块、最小特征距离确定模块、第三手势深度图确定模块和第二输入模块。该装置包括处理器以及与该处理器相连接的存储器，且处理器可执行如上所述的手势纠错方法。通过本申请，能够大大提高手势纠错的实时性和准确性。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.015 seconds)
