一种基于虚拟手交互的虚拟手位置矫正方法及系统

    公开(公告)号:CN111694432B

    公开(公告)日:2023-04-07

    申请号:CN202010530219.8

    申请日:2020-06-11

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明提供了一种基于虚拟手交互的虚拟手位置矫正方法及系统,本发明针对虚拟场景的三维视角呈现方式使交互场景中物体呈现近大远小、靠近视觉区域边缘的物体在视觉上被拉伸变形的问题,根据虚拟手在场景中的位置,通过对虚拟手法向量修正实现对自身进行位置矫正,使其与真实手的位置在空间和视角上重合,从而矫正了用户进行交互时的错位感,提升了交互真实性体验,一定程度上提高了交互的成功率以及交互效率。

    一种具有多模态信息处理功能的虚拟实验平台

    公开(公告)号:CN110286762B

    公开(公告)日:2022-11-04

    申请号:CN201910542518.0

    申请日:2019-06-21

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明提出了一种具有多模态信息处理功能的虚拟实验平台,包括信息输入与交互识别模块、意图融合模块和交互应用模块;其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合,得到意图组合,不同的意图产生不同的行为定义行为的集合,得到行为集合,并且将意图组合和行为集合建立映射关系;交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式,提供更加具有真实感的操作体验和实验现象,同时融合传感器信息和语音信息,构建一个处理多模态信息的平台系统。

    一种3D手势鼠标的生成方法

    公开(公告)号:CN109101872A

    公开(公告)日:2018-12-28

    申请号:CN201810633829.3

    申请日:2018-06-20

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    CPC classification number: G06K9/00355

    Abstract: 本发明涉及一种3D手势鼠标的生成方法,包括以下步骤,a.视频输入,采用Kinect获取视频流,根据其手部节点位置获取手部的大致范围,分别提取手部的深度图像和RGB图像;b.特征提取,对于从步骤a中获取的两种图像将分别提取不同的特征用于后续的指尖跟踪;c.特征融合以获得观测模型;d.粒子滤波跟踪,采用的粒子滤波方法过程明细如下:粒子样本集合描述,设粒子集合模型S={x,y,vx,vy,wx,wy,a},在此,wx,wy,均设为固定值d1,a是速度的尺度变换因子,样本集合的更新通过系统状态变化传播方程st=Ast+wt-1实现;在本发明中并给出了粒子滤波算法步骤;e.鼠标位置转换。本发明提出了更加有效的特征,并且进行特征融合,再结合角点检测来达到实时精确的跟踪目的的有益效果。

    一种3D手势鼠标的生成方法

    公开(公告)号:CN109101872B

    公开(公告)日:2023-04-18

    申请号:CN201810633829.3

    申请日:2018-06-20

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明涉及一种3D手势鼠标的生成方法,包括以下步骤,a.视频输入,采用Kinect获取视频流,根据其手部节点位置获取手部的大致范围,分别提取手部的深度图像和RGB图像;b.特征提取,对于从步骤a中获取的两种图像将分别提取不同的特征用于后续的指尖跟踪;c.特征融合以获得观测模型;d.粒子滤波跟踪,采用的粒子滤波方法过程明细如下:粒子样本集合描述,设粒子集合模型S={x,y,vx,vy,wx,wy,a},在此,wx,wy,均设为固定值d1,a是速度的尺度变换因子,样本集合的更新通过系统状态变化传播方程st=Ast+wt‑1实现;在本发明中并给出了粒子滤波算法步骤;e.鼠标位置转换。本发明提出了更加有效的特征,并且进行特征融合,再结合角点检测来达到实时精确的跟踪目的的有益效果。

    一种基于虚拟手交互的虚拟手位置矫正方法及系统

    公开(公告)号:CN111694432A

    公开(公告)日:2020-09-22

    申请号:CN202010530219.8

    申请日:2020-06-11

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明提供了一种基于虚拟手交互的虚拟手位置矫正方法及系统,本发明针对虚拟场景的三维视角呈现方式使交互场景中物体呈现近大远小、靠近视觉区域边缘的物体在视觉上被拉伸变形的问题,根据虚拟手在场景中的位置,通过对虚拟手法向量修正实现对自身进行位置矫正,使其与真实手的位置在空间和视角上重合,从而矫正了用户进行交互时的错位感,提升了交互真实性体验,一定程度上提高了交互的成功率以及交互效率。

    一种具有多模态信息处理功能的虚拟实验平台

    公开(公告)号:CN110286762A

    公开(公告)日:2019-09-27

    申请号:CN201910542518.0

    申请日:2019-06-21

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明提出了一种具有多模态信息处理功能的虚拟实验平台,包括信息输入与交互识别模块、意图融合模块和交互应用模块;其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合,得到意图组合,不同的意图产生不同的行为定义行为的集合,得到行为集合,并且将意图组合和行为集合建立映射关系;交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式,提供更加具有真实感的操作体验和实验现象,同时融合传感器信息和语音信息,构建一个处理多模态信息的平台系统。

    一种物理平抛运动的数据采集装置及方法

    公开(公告)号:CN110009977B

    公开(公告)日:2022-04-01

    申请号:CN201910094428.X

    申请日:2019-01-30

    Applicant: 济南大学

    Abstract: 本发明提供了一种物理平抛运动的数据采集装置及方法,包括:压力传感器、旋转角度传感器、水平仪、原点对齐组件、激光测距仪;所述压力传感器设置于导轨顶端,旋转角度传感器设置于导轨的拐角处,水平仪设置于导轨的水平部分,原点对齐组件设置于导轨水平部分的末端,所述导轨固定于内板上;所述激光测距仪分别于挡槽一端以及内板上端各设置一个,分别测量横坐标以及纵坐标。通过连续记录多次的平抛运动的下落点,并采用曲线拟合各点,形成抛物线,解决了现有技术中平抛运动数据采集中无法定量分析运动规律的问题,实现定性与定量结合的方式揭示运动规律,装置设计简单,操作难度小,更易于普及。

    一种虚拟实验中的探究式交互算法

    公开(公告)号:CN111814095A

    公开(公告)日:2020-10-23

    申请号:CN202010581846.4

    申请日:2020-06-23

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明涉及一种虚拟实验中的探究式交互算法,设置实验内容在实验内容 情况下,交互方式采用可探究式交互模式,包括用户意图理解阶段和智能交互阶段,在用户意图理解阶段,用户意图Ik将得到系统反馈rk,N表示当前实验内容 下用户可能表达的意图数量并作为决定当前实验内容 是否更新的一个重要依据,当前实验内容会更新为 以满足用户的探究性操作,用户的可执行意图集合会随着实验内容的更新而更新。本发明有利于用户意图的灵活表达以便将更多精力集中在对实验内容的探究和学习上,满足了用户的创新性交互意图,对提升用户创新能力和求知欲有极大帮助。

    一种物理平抛运动的数据采集装置及方法

    公开(公告)号:CN110009977A

    公开(公告)日:2019-07-12

    申请号:CN201910094428.X

    申请日:2019-01-30

    Applicant: 济南大学

    Abstract: 本发明提供了一种物理平抛运动的数据采集装置及方法,包括:压力传感器、旋转角度传感器、水平仪、原点对齐组件、激光测距仪;所述压力传感器设置于导轨顶端,旋转角度传感器设置于导轨的拐角处,水平仪设置于导轨的水平部分,原点对齐组件设置于导轨水平部分的末端,所述导轨固定于内板上;所述激光测距仪分别于挡槽一端以及内板上端各设置一个,分别测量横坐标以及纵坐标。通过连续记录多次的平抛运动的下落点,并采用曲线拟合各点,形成抛物线,解决了现有技术中平抛运动数据采集中无法定量分析运动规律的问题,实现定性与定量结合的方式揭示运动规律,装置设计简单,操作难度小,更易于普及。

Patent Agency Ranking