-
公开(公告)号：CN110196642B
公开(公告)日：2022-05-17
申请号：CN201910543153.3
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互。本发明通过多模态信息获取和整合，利用简单的传感元件，加入了多种模态的信号输入和智能化感应技术，在保证数字显微镜优点的基础上，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。
-
公开(公告)号：CN110196642A
公开(公告)日：2019-09-03
申请号：CN201910543153.3
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互。本发明通过多模态信息获取和整合，利用简单的传感元件，加入了多种模态的信号输入和智能化感应技术，在保证数字显微镜优点的基础上，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。
-
公开(公告)号：CN109886164B
公开(公告)日：2022-11-04
申请号：CN201910094426.0
申请日：2019-01-30
Applicant: 济南大学
IPC: G06V40/10 , G06V40/20 , G06V10/74 , G06V10/762 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明提供了一种异常手势的识别与处理方法，包括：通过kinect获取人手深度图像；将[0,n/2]、[n/2,n]帧内的每一帧手势图像作CNN模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值、第二特征值；利用RNN无监督学习深度网络，比较第一特征值与第二特征值的相似性；对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量，将[0,n/2]帧和[n/2,n]帧进行融合，获取第二特征向量；对第一特征向量和第二特征向量进行误差逆向传播算法训练；反复迭代，得到最大相似手势。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。
-
公开(公告)号：CN110309570A
公开(公告)日：2019-10-08
申请号：CN201910544280.5
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知能力的多模态仿真实验容器，包括：仿真实验容器本体、触摸显示器、光敏传感器、单片机、声音传感器、智能终端，还提出了一种具有认知能力的多模态仿真实验容器方法，通过传感器感知用户行为，得到第一意图集，并通过对语音进行关键字提取处理，得到第二意图集，将第一意图集与第二意图集进行取交集运算，从而得到第三意图集，给用户一种真实的反馈感，用户在使用时不需要去刻意的记忆步骤，改为运用实验操作去理解知识，增加了学生学习兴趣和对知识的运用能力，极大的减少了实验材料的消耗，也不用处理试验后留下的实验废品，方便用户操作。
-
公开(公告)号：CN110288016A
公开(公告)日：2019-09-27
申请号：CN201910544626.1
申请日：2019-06-21
Applicant: 济南大学
IPC: G06K9/62
Abstract: 本发明公开了一种多模态意图融合方法，通过传感器获取用户的声音信息和视觉信息；利用意图感知算法将获取的声音信息转化为若干语音意图，将视觉信息转化为操作意图；通过语音意图竞争确定用户真实语音意图；将操作意图作用于样本图像，并在屏幕上呈现操作结果；判断用户真实操作意图；构建系统反馈规则库，根据用户的真实操作意图和真实语音意图，查询并输出相应的系统反馈，指导用户操作。本发明还公开了一种虚拟显微镜，利用上述多模态意图融合方法，包括输入模块、控制模块和输出模块，使设备能够感知用户的真正意图，给出相应的反馈指导，有效的减少了用户误操作次数，方便用户更好的完成显微镜操作实验。
-
Patent Agency Ranking
公开(公告)号：CN110286763A
公开(公告)日：2019-09-27
申请号：CN201910543141.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。
-
公开(公告)号：CN110262664A
公开(公告)日：2019-09-20
申请号：CN201910543154.8
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F3/01 , G06F3/0346 , G10L15/22
Abstract: 本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
-
公开(公告)号：CN109902593A
公开(公告)日：2019-06-18
申请号：CN201910094427.5
申请日：2019-01-30
Applicant: 济南大学
Abstract: 本发明提供了一种基于Kinect的手势遮挡检测方法及系统，包括：S1、利用Kinect分别获取深度图像以及彩色图像；S2、将深度图像二值化，并与彩色图像进行与运算，得到只有人手区域的彩色图像；S3、统计最大连通区域与肤色区域的比值判断是否存在手势被遮挡；S4、计算获取存在遮挡或不存在遮挡时的预测手势姿态。本发明通过Kinect获取手势的深度图像及其对应的彩色图像，通过图像与运算将彩色手势分割出来，然后用统计最大连通区域与肤色区域的比值判断是否存在手势被遮挡的情况，并通过手势估计算法预测出手势姿态，从而解决由于遮挡问题导致的手势无法识别的问题，实现提高手势识别准确率，特别是在有遮挡的情况下，可有效预测出手势姿态。
-
公开(公告)号：CN104850232B
公开(公告)日：2016-10-19
申请号：CN201510279370.8
申请日：2015-05-27
Applicant: 济南大学
Abstract: 本发明提供了一种摄像头条件下获取远程手势轨迹的方法，属于计算机人机交互界面领域。该方法包括：(1).通过摄像头获得n帧bmp图像，以及图像的宽度、高度、存放数据的指针；(2).依次对n帧图像进行处理，获得手势图像的质心坐标；(3).输出步骤(2)得到的n帧手势图像的n帧质心坐标，然后将n帧质心坐标经过三次B样条拟合得到三次B样条拟合函数；(4).通过三次B样条拟合函数，画出n帧图像的轨迹曲线。
-
公开(公告)号：CN110286763B
公开(公告)日：2022-09-23
申请号：CN201910543141.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.046 seconds)
