-
公开(公告)号：CN110286835B
公开(公告)日：2022-06-17
申请号：CN201910548006.5
申请日：2019-06-21
Applicant: 济南大学
IPC: G06T19/00 , G06T13/20 , G06F3/0487 , G06F3/0488 , G06F3/16 , G09B9/00
Abstract: 本发明提出了一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；感知模块用于获取智能容器的触觉信息以及通过语音输入输出设备获取语音信息。识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；意图融合模块采用类比推理的方式，得到用户的准确意图，并纠正教学导航。交互应用模块根据用户的意图呈现不同的实验效果，本发明设计了一种具有意图理解功能的交互式智能容器，以及研究适用于化学实验的多模态融合模型与算法，形成多模态感知的导航式虚实融合智能实验系统。本发明采用触觉信息和语音信息的意图融合，使人机交互更加自然。
-
公开(公告)号：CN109992107A
公开(公告)日：2019-07-09
申请号：CN201910150659.8
申请日：2019-02-28
Applicant: 济南大学
IPC: G06F3/01
Abstract: 本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。
-
公开(公告)号：CN104571823B
公开(公告)日：2015-12-02
申请号：CN201510013947.0
申请日：2015-01-12
Applicant: 济南大学
IPC: G06F3/0481 , G06F3/0484
Abstract: 本发明的一种基于智能电视的非接触式虚拟人机交互方法，包括以下步骤：步骤1，将智能电视连接图像传感设备，并在智能电视中建立手势识别系统和手势信息数据库，在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序；步骤2，设定两种操作模式；步骤3，进行操作模式A，通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作；步骤4，进行操作模式B，保持智能电视当前界面不变，调用与手势对应关联的智能电视执行程序。本发明的有益效果是：结合虚拟界面位置感知和用户的行为模型探测用户的交互意图，提出了解决了基于手势交互的人机系统中难以解决的“Midas Touch问题”的新途径。
-
公开(公告)号：CN104992156A
公开(公告)日：2015-10-21
申请号：CN201510394353.9
申请日：2015-07-07
Applicant: 济南大学
IPC: G06K9/00
CPC classification number: G06K9/00355
Abstract: 本发明的一种基于手势与多语义之间柔性映射的手势操控方法，首先筛选出操作者可能的交互意图，再结合交互上下文信息，进一步把操作者的手势语义压缩到更小的语义集合。其次，利用SDFBM特征，进一步锁定操作者手势语义。本发明的有益效果是：能够实现一个手势对应多个语义，减少了需要定义的手势命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。
-
公开(公告)号：CN104571823A
公开(公告)日：2015-04-29
申请号：CN201510013947.0
申请日：2015-01-12
Applicant: 济南大学
IPC: G06F3/0481 , G06F3/0484
CPC classification number: G06F3/04815 , G06F3/017
Abstract: 本发明的一种基于智能电视的非接触式虚拟人机交互方法，包括以下步骤：步骤1，将智能电视连接图像传感设备，并在智能电视中建立手势识别系统和手势信息数据库，在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序；步骤2，设定两种操作模式；步骤3，进行操作模式A，通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作；步骤4，进行操作模式B，保持智能电视当前界面不变，调用与手势对应关联的智能电视执行程序。本发明的有益效果是：结合虚拟界面位置感知和用户的行为模型探测用户的交互意图，提出了解决了基于手势交互的人机系统中难以解决的“Midas Touch问题”的新途径。
-
Patent Agency Ranking
公开(公告)号：CN110286765B
公开(公告)日：2022-11-04
申请号：CN201910544619.1
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种智能实验容器及其使用方法，所述智能实验容器包括容器本体和控制模块，所述容器本体包括杯体，所述杯体外壁设置触摸传感器，所述杯体内侧设置摄像头、光源和流体物，所述摄像头和光源设置在杯体顶部，流体物设置在杯体底部；所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息，构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略，更加准确理解用户意图，实现自然的人机交互，可以及时纠正用户的错误操作，并通过语音合成模块引导其进行正确的实验操作。
-
公开(公告)号：CN110286765A
公开(公告)日：2019-09-27
申请号：CN201910544619.1
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种智能实验容器及其使用方法，所述智能实验容器包括容器本体和控制模块，所述容器本体包括杯体，所述杯体外壁设置触摸传感器，所述杯体内侧设置摄像头、光源和流体物，所述摄像头和光源设置在杯体顶部，流体物设置在杯体底部；所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息，构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略，更加准确理解用户意图，实现自然的人机交互，可以及时纠正用户的错误操作，并通过语音合成模块引导其进行正确的实验操作。
-
公开(公告)号：CN110286764A
公开(公告)日：2019-09-27
申请号：CN201910544618.7
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；所述报警模块用于提示用户操作错误；所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法，通过多模态信息的融合进行用户意图的分析和感知，解决了单一模态无法完整理解用户意图的问题，达到与用户进行互动的效果。
-
公开(公告)号：CN109886164A
公开(公告)日：2019-06-14
申请号：CN201910094426.0
申请日：2019-01-30
Applicant: 济南大学
Abstract: 本发明提供了一种异常手势的识别与处理方法，包括：通过kinect获取人手深度图像；将[0,n/2]、[n/2,n]帧内的每一帧手势图像作CNN模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值、第二特征值；利用RNN无监督学习深度网络，比较第一特征值与第二特征值的相似性；对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量，将[0,n/2]帧和[n/2,n]帧进行融合，获取第二特征向量；对第一特征向量和第二特征向量进行误差逆向传播算法训练；反复迭代，得到最大相似手势。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。
-
公开(公告)号：CN105138949A
公开(公告)日：2015-12-09
申请号：CN201510394354.3
申请日：2015-07-07
Applicant: 济南大学
IPC: G06K9/00
CPC classification number: G06K9/00355
Abstract: 本发明提供了一种基于多手势与语义之间柔性映射的手势操控方法，首先筛选出操作者可能的交互意图，再结合交互上下文信息，进一步把操作者的手势语义压缩到更小的语义集合。其次，利用SSFBM特征，找到替代手势，进一步锁定操作者手势语义。本发明的有益效果是：能够实现多个手势表达一个语义，减少了需要定义的手势命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.02 seconds)
