公开(公告)号：CN112698724B

公开(公告)日：2022-02-11

申请号：CN202011620899.9

申请日：2020-12-30

申请人： 山东大学

发明人： 秦学英 ,  卢世逸 ,  姜新波 ,  李佳宸 ,  黄鸿 ,  何弦

IPC分类号： G06F3/01

摘要： 本发明涉及一种基于摄像头眼动追踪的穿透式屏幕系统的实现方法，属于增强现实技术领域，包括步骤如下，首先确定摄像头坐标系下的眼睛位置，然后建立标准坐标系，将摄像头坐标系转换至标准坐标系再转换至Unity坐标系，将现实中的屏幕以及眼睛映射到unity坐标系中，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与系统达到交互的效果。

公开(公告)号：CN112686304B

公开(公告)日：2023-03-24

申请号：CN202011595520.3

申请日：2020-12-29

申请人： 山东大学

发明人： 秦学英 ,  张振虎 ,  卢世逸 ,  金立 ,  钱建凯

IPC分类号： G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06V10/766 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0985

摘要： 本发明涉及一种基于注意力机制以及多尺度特征融合的目标检测方法、设备及存储介质，是指：将待检测的图像输入目标检测模型，得到图像中目标的类别、包围框中心的坐标以及包围框的长和宽；目标检测模型的生成过程为：通过标注有目标的类别、包围框中心的坐标以及包围框的长和宽的样本图像训练得到目标检测模型。本发明提出了CombineFPN和Scale Fusion(SF)模块对FPN网络结构多特征融合不充分问题进行改善。提出了轻量级的non‑localattention应用于检测器的头部网络分类部分，用于提升像素级分类的准确度。

公开(公告)号：CN112700505A

公开(公告)日：2021-04-23

申请号：CN202011639917.8

申请日：2020-12-31

申请人： 山东大学

发明人： 秦学英 ,  金立 ,  张振虎 ,  卢世逸 ,  曹昕

IPC分类号： G06T7/80 ,  G06T7/246

摘要： 本发明涉及一种基于双目三维跟踪的手眼标定方法、设备及存储介质，是指：选定的三维跟踪方法为先有场景中某物体的三维模型，结合边缘和区域的方法，将置信度和特征融合进一步判断三维物体在世界坐标系到相机坐标系下的坐标变换关系。本发明将三维跟踪求解世界坐标系到相机坐标系下的坐标变换关系的方法引入手眼标定的工作中，提高了手眼标定的精度，避免了特征点匹配不准确等问题。

公开(公告)号：CN112698725A

公开(公告)日：2021-04-23

申请号：CN202011622545.8

申请日：2020-12-30

申请人： 山东大学

发明人： 秦学英 ,  卢世逸 ,  宋修强 ,  马嘉遥 ,  王彬 ,  宋婧

IPC分类号： G06F3/01

摘要： 本发明涉及一种基于眼动仪跟踪的穿透式屏幕系统的实现方法，属于增强现实技术领域，包括步骤如下，建立标准坐标系，利用Tobii眼动仪获取单眼位置，将Tobii坐标系转换至标准坐标系再转换至Unity坐标系，将现实中的屏幕以及眼睛映射到unity坐标系中，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与系统达到交互的效果。

公开(公告)号：CN112698724A

公开(公告)日：2021-04-23

申请号：CN202011620899.9

申请日：2020-12-30

申请人： 山东大学

发明人： 秦学英 ,  卢世逸 ,  姜新波 ,  李佳宸 ,  黄鸿 ,  何弦

IPC分类号： G06F3/01

摘要： 本发明涉及一种基于摄像头眼动追踪的穿透式屏幕系统的实现方法，属于增强现实技术领域，包括步骤如下，首先确定摄像头坐标系下的眼睛位置，然后建立标准坐标系，将摄像头坐标系转换至标准坐标系再转换至Unity坐标系，将现实中的屏幕以及眼睛映射到unity坐标系中，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与系统达到交互的效果。

公开(公告)号：CN112686304A

公开(公告)日：2021-04-20

申请号：CN202011595520.3

申请日：2020-12-29

申请人： 山东大学

发明人： 秦学英 ,  张振虎 ,  卢世逸 ,  金立 ,  钱建凯

IPC分类号： G06K9/62 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08

摘要： 本发明涉及一种基于注意力机制以及多尺度特征融合的目标检测方法、设备及存储介质，是指：将待检测的图像输入目标检测模型，得到图像中目标的类别、包围框中心的坐标以及包围框的长和宽；目标检测模型的生成过程为：通过标注有目标的类别、包围框中心的坐标以及包围框的长和宽的样本图像训练得到目标检测模型。本发明提出了CombineFPN和Scale Fusion(SF)模块对FPN网络结构多特征融合不充分问题进行改善。提出了轻量级的non‑localattention应用于检测器的头部网络分类部分，用于提升像素级分类的准确度。

公开(公告)号：CN112700505B

公开(公告)日：2022-11-22

申请号：CN202011639917.8

申请日：2020-12-31

申请人： 山东大学

发明人： 秦学英 ,  金立 ,  张振虎 ,  卢世逸 ,  曹昕

IPC分类号： G06T7/80 ,  G06T7/246

摘要： 本发明涉及一种基于双目三维跟踪的手眼标定方法、设备及存储介质，是指：选定的三维跟踪方法为先有场景中某物体的三维模型，结合边缘和区域的方法，将置信度和特征融合进一步判断三维物体在世界坐标系到相机坐标系下的坐标变换关系。本发明将三维跟踪求解世界坐标系到相机坐标系下的坐标变换关系的方法引入手眼标定的工作中，提高了手眼标定的精度，避免了特征点匹配不准确等问题。

公开(公告)号：CN112698725B

公开(公告)日：2022-02-11

申请号：CN202011622545.8

申请日：2020-12-30

申请人： 山东大学

发明人： 秦学英 ,  卢世逸 ,  宋修强 ,  马嘉遥 ,  王彬 ,  宋婧

IPC分类号： G06F3/01

摘要： 本发明涉及一种基于眼动仪跟踪的穿透式屏幕系统的实现方法，属于增强现实技术领域，包括步骤如下，建立标准坐标系，利用Tobii眼动仪获取单眼位置，将Tobii坐标系转换至标准坐标系再转换至Unity坐标系，将现实中的屏幕以及眼睛映射到unity坐标系中，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与系统达到交互的效果。