一种基于虚拟界面的手势交互方法

    公开(公告)号:CN104951073A

    公开(公告)日:2015-09-30

    申请号:CN201510347461.0

    申请日:2015-06-19

    Applicant: 济南大学

    Inventor: 冯志全 刘慧

    Abstract: 本发明提供了一种基于虚拟界面的手势交互方法,属于人机交互领域。该方法包括:S1,手势分割:从复杂背景中把手势图像分离出来,只在前景中保留手势部分;S2,构建虚拟界面:操作者按照从左到右、从下到上的顺序,在空中画矩形轨迹,根据该矩形轨迹拟合得到虚拟界面;S3,对所述虚拟界面进行分区,并判断人手所处的分区;S4,虚拟界面的实时刷新移动:当人体移动时,已生成的虚拟界面随着人体的移动进行相应的同方向移动。

    一种结合二进制编码和类-Hausdorff距离的手势识别方法

    公开(公告)号:CN104834894A

    公开(公告)日:2015-08-12

    申请号:CN201510151404.5

    申请日:2015-04-01

    Applicant: 济南大学

    Inventor: 冯志全 杨学文

    Abstract: 本发明的结合手势二进制编码和类-Hausdorff距离的手势识别方法,特征在于:首先将手势图像标准化,并将其等分为多个子区域;通过比较手势库中手势图像与待识别手势图像,选取手势库中与待识别手势图像最为接近的前l个作为候选手势;然后通过计算候选手势图像与待识别手势图像的类-Hausdorff距离,使类-Hausdorff距离取最小值的动态手势即为识别结果。本发明的手势识别方法,解决了基于视觉的动态手势识别方法受旋转、平移、缩放的影响大,识别实时性不高,对相近手势区分度较小的问题,手势识别过程中待识别图像与手势库中图像的对比计算量适中,识别效率和准确性高,有益效果显著,便于应用推广。

    一种基于智能电视的非接触式虚拟人机交互方法

    公开(公告)号:CN104571823A

    公开(公告)日:2015-04-29

    申请号:CN201510013947.0

    申请日:2015-01-12

    Applicant: 济南大学

    Inventor: 冯志全 冯仕昌

    CPC classification number: G06F3/04815 G06F3/017

    Abstract: 本发明的一种基于智能电视的非接触式虚拟人机交互方法,包括以下步骤:步骤1,将智能电视连接图像传感设备,并在智能电视中建立手势识别系统和手势信息数据库,在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序;步骤2,设定两种操作模式;步骤3,进行操作模式A,通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作;步骤4,进行操作模式B,保持智能电视当前界面不变,调用与手势对应关联的智能电视执行程序。本发明的有益效果是:结合虚拟界面位置感知和用户的行为模型探测用户的交互意图,提出了解决了基于手势交互的人机系统中难以解决的“Midas Touch问题”的新途径。

    一种静态手势识别方法
    44.
    发明公开

    公开(公告)号:CN104102904A

    公开(公告)日:2014-10-15

    申请号:CN201410334999.3

    申请日:2014-07-14

    Applicant: 济南大学

    Inventor: 冯志全 杨学文

    Abstract: 本发明一种静态手势识别方法,本发明提出一种基于空间手势坐标点分布特征HCDF和类-Hausdorff距离模板匹配的手势识别方法。首先用HCDF提取手势特征向量;然后将提取的特征与样本库进行相似性度量,选取M种相近的候选样本;最后用类-Hausdorff距离模板匹配的思想,从M种候选样本中识别出最终的手势。本发明的有益效果是:与HDF方法相比本发明有更高的识别率,并且本发明对于旋转、缩放、平移的手势,仍能正确识别,对区分度较小的相近手势仍能保持很高的识别率。另外,相比于单纯用类-Hausdorff距离进行识别,本发明的识别速度有较大提高。

    一种三维手势模型的初始化方法

    公开(公告)号:CN101567093A

    公开(公告)日:2009-10-28

    申请号:CN200910015471.9

    申请日:2009-05-25

    Applicant: 济南大学

    Inventor: 冯志全 杨波

    Abstract: 本发明公开了一种三维手势模型的初始化方法,包括如下步骤:(1)建立三维手势数据库;(2)利用摄像机采集手势图像,并从视频流中获取一个帧图像,计算观测特征值;(3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型;(4)从视频流获取新的观测特征值,并进行可视化显示;(5)操作者调整手势状态;(6)如果操作者不认可当前手势状态,转向步骤(4);(7)如果操作者认可当前手势状态,则停止调整,对当前的手势状态及三维手势模型进行评价,得出评价结果,如果评价结果达到精度要求,则绘制、输出三维手势模型,初始化成功,如果评价结果没有达到精度要求,转向步骤(4)。

    一种穿戴式摄像机姿态监控与识别系统及方法

    公开(公告)号:CN116156310B

    公开(公告)日:2025-01-07

    申请号:CN202310032255.5

    申请日:2023-01-10

    Applicant: 济南大学

    Inventor: 冯志全

    Abstract: 一种穿戴式摄像机姿态监控与识别系统及方法,系统包括:头戴式穿戴架,摄像头,头戴式微型摄像机,与头戴式穿戴架固定连接,用于获取场景视频信息;投影装置,投影装置向微型摄像机拍摄的同一场景中投影,用于增强信息;通过调整投影装置的光轴方向,使投影图案的中心位置位于头戴式微型摄像机光轴线上;提示模块,当系统发生异常时发出提示;角度感知模块,用于获取头戴式微型摄像机的角度姿态信息,所述角度姿态信息包括:视角θ和仰角ω。本系统解决了采用头戴式摄像机容易出现的拍摄不到或拍摄不全操作场景、头部运动而影响实验评分结果等问题,本系统采用多投影区域技术,实现了对用户行为的精准指引,避免识别到其他不相关的器材。

    一种AR系统中增强呈现方式的方法

    公开(公告)号:CN113691779B

    公开(公告)日:2024-04-05

    申请号:CN202110984031.5

    申请日:2021-08-25

    Applicant: 济南大学

    Inventor: 冯志全

    Abstract: 本发明提供了一种AR系统中增强呈现方式的方法,所述的方法包括:S1:利用摄像头拍摄至少一段完整的场景呈现视频,对于每段视频中的任何一个操作对象,视频中均包含两个及以上的操作视角;S2:利用步骤S1的视频构建视频库;S3:操作者进入场景进行操作,在任意时间点发出视角变换请求;S4:系统接收视角变换请求后,获取视频库中符合视角变换请求的视频片段;S5:系统将获取的视频片段覆盖原始视频流;S6:覆盖状态退出时,恢复原始视频流的场景呈现。在不增加摄像头数目的前提下,操作者可以从不同视角感知交互场景的信息,达到移动摄像头才可能达到的感知效果。

    一种面向虚拟实验的多模态语义融合人机交互系统和方法

    公开(公告)号:CN111665941B

    公开(公告)日:2023-12-22

    申请号:CN202010509144.5

    申请日:2020-06-07

    Applicant: 济南大学

    Abstract: 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法,包括交互信息集成模块,还包括交互信息获取模块、交互意图推理模块和交互任务直行模块,其中,所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图,并将获取到的信息提供给交互意图推理模块;所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图,预测潜在的交互行为;所述交互任务执行模块根据交互意图推理模块预测的交互动作,生成用户期望的实验动作,生成响应的实验效果,返回对应的操作反馈,最后,实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。

    一种三维手势生成方法
    49.
    发明授权

    公开(公告)号:CN109189206B

    公开(公告)日:2023-08-18

    申请号:CN201810633830.6

    申请日:2018-06-20

    Applicant: 济南大学

    Inventor: 冯志全 李健

    Abstract: 本发明涉及一种三维手势生成方法,包括以下步骤:a.利用Kinect中的人体骨骼信息得到人手的深度坐标;b.获取人手区域的深度图像;c.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分,并在Caffe框架下用CNN对步骤c‑1中的所有训练样本对手腕角度进行训练,得到一个i分类的CNN模型;d.对步骤c‑2中分出的每一类训练样本,随机取4/5的样本对手指j个局部状态再次进行CNN训练;e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态,这两种状态共同决定了手势状态;f.对手势状态判断并以此来实现对手势的控制。本发明利用二层分类模型对深度图像的手势状态进行分类,最后提出了控制算法以驱动虚拟手的运动。

    一种与老年人益智游戏智能交互的方法、系统和机器人

    公开(公告)号:CN114043497B

    公开(公告)日:2023-06-30

    申请号:CN202111374814.8

    申请日:2021-11-19

    Applicant: 济南大学

    Inventor: 冯志全 侯娅 范雪

    Abstract: 本发明提出了一种与老年人益智游戏智能交互的方法、系统和机器人,该方法包括:实时识别游戏对象的位置和旋转角度;在老人操作完成后,根据所述游戏对象的位置和旋转角度,计算抓取下一游戏对象动作的即时回报值以及根据所述即时回报值执行游戏对象抓取;所述游戏对象动作的即时回报值用于表示在可选范围内最优且代价最小的动作,并更新强化学习中的状态动作值函数。基于该方法,还提出了一种与老年人益智游戏智能交互的系统和机器人。本发明在强化学习状态改变的基础上加入了人机交互的因素,在与老年人进行益智游戏的过程中,强调机器人和人产生互动,有效的提高了老年人陪护的质量,更好的实现老年心理健康方面的陪护。

Patent Agency Ranking