一种在虚拟现实场景中的眼动追踪自动校准方法

    公开(公告)号:CN109240497A

    公开(公告)日:2019-01-18

    申请号:CN201810985487.1

    申请日:2018-08-28

    Inventor: 陆峰 蒋雨薇 于洋

    Abstract: 本发明提供一种在虚拟现实场景中的眼动追踪自动校准方法,包括:在虚拟场景的眼动追踪应用中,通过未校准的眼动追踪算法估计用户注视点,并根据注视点选择视觉区域,从而判断用户注视的物体,通过用户注视物体自身特征和注视区域内符合一定规则的物体个数来计算注视物体的显著性概率,并通过显著性概率选择校准物体,从而通过多个校准物体对系统进行校准。本发明提出的方法对用户要求较低,有利于眼动追踪技术的使用和推广。

    一种在虚拟现实场景中的眼动追踪自动校准方法

    公开(公告)号:CN109240497B

    公开(公告)日:2021-07-13

    申请号:CN201810985487.1

    申请日:2018-08-28

    Inventor: 陆峰 蒋雨薇 于洋

    Abstract: 本发明提供一种在虚拟现实场景中的眼动追踪自动校准方法,包括:在虚拟场景的眼动追踪应用中,通过未校准的眼动追踪算法估计用户注视点,并根据注视点选择视觉区域,从而判断用户注视的物体,通过用户注视物体自身特征和注视区域内符合一定规则的物体个数来计算注视物体的显著性概率,并通过显著性概率选择校准物体,从而通过多个校准物体对系统进行校准。本发明提出的方法对用户要求较低,有利于眼动追踪技术的使用和推广。

    基于触控屏的视触结合交互方法、装置、设备和可读介质

    公开(公告)号:CN116737051B

    公开(公告)日:2023-11-24

    申请号:CN202311029107.4

    申请日:2023-08-16

    Inventor: 陆峰

    Abstract: 本公开的实施例公开了基于触控屏的视触结合交互方法、装置、设备和可读介质。该方法的一具体实施方式包括:通过眼动组件,获取人脸信息;根据人脸信息,确定注视点位置信息;生成注视点,以及根据注视点位置信息,在触控显示组件上显示注视点;响应于检测到作用于预设区域的第一用户操作,执行如下交互步骤:确定第一触点和第二触点;根据第一触点和第二触点,确定移动触点和指令触点;接收指令触点生成的第一指令信息;根据第一指令信息和注视点的所在位置,执行交互操作;响应于检测到交互步骤执行完成,通过眼动组件,再次获取人脸信息。该实施方式避免了执行错误的界面交互操作。

    基于硅传感器相机的短波红外图像处理方法、装置及设备

    公开(公告)号:CN111968067B

    公开(公告)日:2023-08-22

    申请号:CN201910418875.6

    申请日:2019-05-20

    Inventor: 陆峰 吕飞帆

    Abstract: 本申请提供一种基于硅传感器相机的短波红外图像处理方法、装置及设备,该方法包括:获取待处理的原始图像,其中,所述原始图像为包括至少两个波段的红外图像;采用预先训练好的分解网络模型,对所述原始图像进行分解,获得各波段对应的分解子图像;采用预先训练好的转换网络模型,对各波段对应的所述分解子图像进行转换,获得各分解子图像对应的转换子图像;采用预先训练好的重构网络模型,将各所述转换子图像进行合成,获得红外短波图像可以提高成像分辨率,还可以节省成本。

    一种特定场景下的中英文混合的离线语音关键词识别方法及其系统实现

    公开(公告)号:CN114530141A

    公开(公告)日:2022-05-24

    申请号:CN202011323748.7

    申请日:2020-11-23

    Inventor: 陆峰 薛玉敏

    Abstract: 本公开的实施例公开了一种中英文混合的离线语音关键词识别方法及其系统。该方法的一具体实施方式包括:获取语音数字信号,对其进行语音活动检测,得到待识别语音段;定义自适应关键词匹配窗口,分割待识别语音段;对语音段进行特征提取,得到梅尔频率倒谱系数嵌入特征向量;分析自定义关键词列表,结合预先训练的音素补白模型,得到中文解码网络空间和英文解码网络空间;将所述梅尔频率倒谱系数嵌入特征向量依次输入所述解码网络空间中,得到识别结果;对识别结果后处理,生成目标识别结果。该实施方式的计算量低,可以离线识别,识别准确率高,响应速度快,支持中英文混合识别,能够灵活的更换关键词列表从而适应不同场景下的应用。

    一种支持定制化多通道交互的增强现实系统

    公开(公告)号:CN111651043B

    公开(公告)日:2021-10-12

    申请号:CN202010476286.6

    申请日:2020-05-29

    Inventor: 陆峰 王智敏

    Abstract: 本公开实施例公开了一种支持定制化多通道交互的增强现实系统。该增强现实系统的一具体实施方式包括:头戴式传感器组合、计算装置及显示模块;头戴式传感器组合,用于捕捉用户的多通道交互输入信息,并将交互输入信息传至计算装置;计算装置,用于根据交互输入信息生成或者修改增强现实的显示内容;显示模块,用于将背景内容和增强现实的显示内容叠加显示。上述增强现实系统通过将显示模块设置到头戴式传感器组合的远端,可以简化头戴式传感器组合的结构,减轻该头戴式传感器组合的重量。为安装其他传感器提供了方便。同时,该系统可以加入多种交互方式,进而丰富了该系统与用户的交互,提高了用户体验。

    一种基于多阶段变形重构的三维模型球表达计算方法

    公开(公告)号:CN112734913A

    公开(公告)日:2021-04-30

    申请号:CN202110043355.9

    申请日:2021-01-13

    Inventor: 陆峰 王宗继

    Abstract: 本公开的实施例公开了一种三维模型球表达计算方法。该方法的一具体实施方式包括:将输入的三维模型处理成稠密点云模型,并进行多分辨率点云抽象预处理;将稠密点云模型输入多级特征提取模块,进行点云下采样并提取不同抽象层级的高维特征向量;将高维特征向量、模板球点云和抽象预处理点云模型输入至点云变形重构模块,得到变形重构点云模型;提取步骤3中多阶段变形重构过程信息,将多阶段变形重构过程信息与模板球点云共同组成描述该三维模型的完备信息;基于三维模型球表达,得到三维模型到模板球点云的稠密对应关系和不同三维模型之间的稠密对应关系。该实施方式不需要耗时耗力的人工标注,提高了表征学习的效率。

    眼动合成方法及装置
    9.
    发明授权

    公开(公告)号:CN110174942B

    公开(公告)日:2021-01-19

    申请号:CN201910365222.6

    申请日:2019-04-30

    Inventor: 陆峰 李承坤

    Abstract: 本发明实施例提供一种眼动合成方法及装置,该方法包括:获取眼动特征数据与言语特征数据,其中,眼动特征数据为反映眼动行为的数据,言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据,得到驱动模型,其中,驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型,合成虚拟人的眼动行为,并控制虚拟人表现出合成后的眼动。本实施例通过根据眼动特征数据与言语特征数据使得虚拟人表现出与语音数据相对应的眼动,从而提高交互的真实感。

    合成病变图像的生成方法、装置、设备及可读存储介质

    公开(公告)号:CN109785399A

    公开(公告)日:2019-05-21

    申请号:CN201811373059.X

    申请日:2018-11-19

    Inventor: 陆峰 牛钰浩

    Abstract: 本发明公开了一种合成病变图像的生成方法、装置、设备及可读存储介质,根据病变参考图,病变检测网络及对称的激活网络生成病理描述符,该病理描述符蕴含着病变特征;将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中,生成合成病变图。本方案中,通过对病理描述符进行增删改等操作,来操纵合成病变图中病变的位置和数量,以生成多样性的结果。因此,本方案对病变的合成更有针对性,且生理细节方面合成足够逼真,可以满足扩大深度学习检测器训练集规模的要求。

Patent Agency Ranking