-
公开(公告)号:CN111667733A
公开(公告)日:2020-09-15
申请号:CN202010552153.2
申请日:2020-06-17
Applicant: 济南大学
Inventor: 冯志全
IPC: G09B9/00
Abstract: 本发明提供了一种仿真实验操作中感知容器位置的方法,其特征在于,所述的方法包括:将主容器整体划分为若干子区域;S2:在同一坐标系下,生成每一个子区域的坐标值;在每一个子区域内设置一携带其坐标值的信号发生装置;在副容器内设置信号接收装置;利用主容器向副容器进行倾倒操作;信号接收装置识别信号发生装置,并将该信号发生装置的坐标值传送至后台操作端;后台操作端基于该坐标值建立主、副容器的三维坐标,并生成实时的演示图像。该方法通过主、副容器的位置交互,实现对于容器位置间的精确感知,提升实验操作的仿真度。此外,基于该方法,本申请还提供了相应的实现装置。
-
公开(公告)号:CN111665941A
公开(公告)日:2020-09-15
申请号:CN202010509144.5
申请日:2020-06-07
Applicant: 济南大学
Abstract: 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法,包括交互信息集成模块,还包括交互信息获取模块、交互意图推理模块和交互任务直行模块,其中,所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图,并将获取到的信息提供给交互意图推理模块;所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图,预测潜在的交互行为;所述交互任务执行模块根据交互意图推理模块预测的交互动作,生成用户期望的实验动作,生成响应的实验效果,返回对应的操作反馈,最后,实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。
-
公开(公告)号:CN107329564B
公开(公告)日:2020-05-29
申请号:CN201710432455.4
申请日:2017-06-09
Applicant: 济南大学
Abstract: 本发明公开了一种基于手势智能感知和人机协同机制的人机猜拳方法。首先将Kinect获得图像序列经过分割、肤色建模提取出人手,然后通过提出的SCDDF识别算法提取手势特征,再与事先建立好的手势库中模板进行匹配,最终识别出用户手势。在此基础上,将虚拟界面运用到人机猜拳游戏中使用户可以更加方便自然地体验人机猜拳游戏的乐趣;结合人机猜拳游戏,本文还提出人机协同机制,使整个游戏更加顺畅自然;在手势识别方面,本文融合DDF算法和性状上下文特征描述子算法,提出SCDDF算法,经实验验证,新的识别算法较之前的DDF算法识别正确率提高了10.8%。
-
公开(公告)号:CN109993108B
公开(公告)日:2019-12-03
申请号:CN201910248541.9
申请日:2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种增强现实环境下的手势纠错方法、系统及装置,该方法首先获取人手的第一手势深度图和手势深度信息,然后利用手势识别模型判断当前手势是否可识别,当不可识别时,根据Hausdorff距离确定当前第二手势深度图的最小特征距离,最后通过Hausdorff距离确定第三手势深度图,并最终将第三手势深度图输入手势识别模型中,从而实现手势纠错。该系统包括:信息获取模块、预处理模块、第一输入模块、判断模块、最小特征距离确定模块、第三手势深度图确定模块和第二输入模块。该装置包括处理器以及与该处理器相连接的存储器,且处理器可执行如上所述的手势纠错方法。通过本申请,能够大大提高手势纠错的实时性和准确性。
-
公开(公告)号:CN110308795A
公开(公告)日:2019-10-08
申请号:CN201910604878.9
申请日:2019-07-05
Applicant: 济南大学
Abstract: 本发明公开了一种动态手势识别方法及系统,该方法包括以下步骤:获取手部运动数据,包括三轴加速度和角速度数据;对手部运动数据进行处理,截取有效的手势动作数据;对手势动作数据进行特征提取,得到特征值,包括手势动作的长度、加速度的平均值、角速度的平均值以及加速度的极值点;获取待测手势动作数据,基于BP神经网络算法与K-means算法对待测手势动作数据进行动态手势识别。
-
公开(公告)号:CN110288714A
公开(公告)日:2019-09-27
申请号:CN201910543576.5
申请日:2019-06-21
Applicant: 济南大学
Inventor: 冯志全
Abstract: 本发明公开了一种虚拟仿真实验系统,其特征是,包括摄像头和虚拟实验容器,所述虚拟实验容器包括电子芯片和显示器,所述摄像头获取场景中物体和操作人员人脸数据图像,所述电子芯片处理所述数据图像,根据数据图像中人脸视线与虚拟实验容器的位置关系,计算得到电子芯片预存的实验三维动画序列沿视线方向的二维投影,所述显示器显示所述二维投影。该虚拟仿真实验系统在实验容器本体结构上设置显示器,解决了实验操作中用户眼睛和正在操作的实验容器方向不一致的问题,使用户的操作过程方便自然,减少用户的认知负荷,改善用户体验。
-
公开(公告)号:CN110020703A
公开(公告)日:2019-07-16
申请号:CN201910249784.4
申请日:2019-03-29
Applicant: 济南大学
IPC: G06K19/067 , G09F3/00 , B01L3/00
Abstract: 本发明实施例公开了基于虚实融合实验的试剂标签套件及其使用方法。套件包括试剂瓶和感知传感器,所述感知传感器包括标签盘和标签;所述标签盘固定在试剂瓶上,用于感知标签上的试剂信息;所述标签安装在标签盘上,用于携带试剂信息并将该试剂信息传递给标签盘。使用方法包括建立试剂与序列号的对应关系,并存入数据库;根据当前试剂,确定标签上触点与第二正负极的连接方式,并将标签安装到标签盘上;通过识别标签盘上触片的接通信息,读取触片对应的序列号;从数据库中检索当前序列号对应的试剂,获知当前试剂名称。通过本发明的试剂标签套件能够通过AR直观显示当前试剂的名称,为接下来的化学实验操作奠定基础。
-
公开(公告)号:CN109992107A
公开(公告)日:2019-07-09
申请号:CN201910150659.8
申请日:2019-02-28
Applicant: 济南大学
IPC: G06F3/01
Abstract: 本发明的虚拟操控装置及其操控方法,装置包括:模拟部,通过将电子信息加装在某一具有实体形状的物品上,用于模拟实验器具或实验材料;识别部,通过识别人体动作姿态对应的操作手势,将操作手势附加到模拟部上;转换部,将识别部中操作手势与模拟部的结合转化成三维演示图像;显示部,将转换部转化成的图像显示为人眼可看的视觉影像。方法包括:读取单元选择实验器具及实验材料;选择初始操作的实验器具;基于手势行为,确定初始操作;识别运动轨迹,判断实验器具的移动方向;判断实验器具之间的位置,确定倾倒结果正确;生成实验操作过程;将上述操作过程转化成三维图像,并显示在显示部。该发明能够进行虚拟实验的操作和演示。
-
公开(公告)号:CN109550476A
公开(公告)日:2019-04-02
申请号:CN201811477701.9
申请日:2018-12-05
Applicant: 济南大学
Abstract: 本发明提供了一种双支智能实验试管套件及其应用,属于实验设备领域。该双支智能实验试管套件包括至少两支实验试管模型,在每个所述实验试管模型的外壁上均设置有电子芯片和压力传感器,每个压力传感器分别与电子芯片的不同端口进行电连接;所述压力传感器用于采集实验材料的名称、温度、体积、浓度以及交互行为;所述电子芯片与计算机进行通讯。本发明采用传感器和电子芯片技术,采用虚实融合方法,一个容器套件可以“盛装”不同实验材料,具有低成本、多功能、易操作等优势;利用本发明不仅可以感知用户操作态势(用户选择),而且可以感知容器模型与实验材料态势(容器位置与倾斜度,材质在容器内的真实感仿真效果),实现了实验的智能化。
-
公开(公告)号:CN109326166A
公开(公告)日:2019-02-12
申请号:CN201811477671.1
申请日:2018-12-05
Applicant: 济南大学
Inventor: 冯志全
Abstract: 本发明提供了一种虚拟显微镜实物套件及其应用,属于实验设备领域。该虚拟显微镜实物套件包括:显微镜本体模型以及设置在显微镜本体模型上的螺旋传感器、压力传感器和载玻片位置传感器;FPGA芯片和本地显示设备;所述螺旋传感器、压力传感器和载玻片位置传感器分别与FPGA芯片连接;所述FPGA芯片通过有线或无线方式与本地显示设备进行通讯。一方面,本发明利用虚拟融合技术,对用户观测结果进行信息增强,有利于用户随机探索实验现象的过程、机理与原理;另一方面,本发明通过实物操作,得到了真实显微镜条件下的操作体验,帮助实验人员掌握了相关实验技能。
-
-
-
-
-
-
-
-
-