公开(公告)号：CN119356520A

公开(公告)日：2025-01-24

申请号：CN202411284800.0

申请日：2024-09-13

Applicant: 厦门大学

Inventor： 郭伟杰 ,  王振宇 ,  吴宗宇 ,  吕毅军 ,  陈忠

IPC: G06F3/01 ,  G06V40/18 ,  G06V10/82 ,  G06F15/78 ,  G06N3/045 ,  G06N3/0464

Abstract: 本申请提供了一种基于边缘TPU芯片模型加速的眼动控制系统及方法，包括PC、Docker、眼动眼镜和搭载TPU芯片，通过眼动眼镜获取外场景图像和眼部运动图像；通过PC修改和训练YOLOv5s模型，通过Docker格式转换和部署，以将YOLOv5s模型转换为Bmodel模型格式以兼容TPU芯片，基于SAIL库重构代码架构并配置在TPU芯片中，实现TPU芯片与眼动控制器的兼容，通过Bmodel模型识别外场景图像中的目标位置坐标，在TPU芯片中配置双层CNN卷积模型识别眼部运动图像中的瞳孔中心，并映射至外场景获取注视点坐标，根据坐标重叠判断生成控制指令。解决TPU芯片与现有眼动控制器的兼容性和集成问题，可以快速而准确地处理用户的眼球运动数据，同时还提升数据处理的精度，实现更流畅、更自然的用户交互体验。

公开(公告)号：CN119832621A

公开(公告)日：2025-04-15

申请号：CN202411908873.2

申请日：2024-12-24

Applicant: 厦门大学

Inventor： 郭伟杰 ,  吴宗宇 ,  吕毅军 ,  陈忠

IPC: G06V40/18 ,  G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464

Abstract: 本申请提出了一种基于眼动追踪的人机交互方法，其特征在于，包括：S1、获取原始图像，对原始图像进行预处理；S2、生成经过预处理的原始图像的深度信息图像，以及对经过预处理的原始图像进行面部特征检测与截取，得到面部特征图像；S3、对面部特征图像进行眼部特征检测与截取，分别得到左眼特征图像和右眼特征图像，以及根据面部特征图像获取用户特征信息；S4、利用深度学习模型对面部特征图像、左眼特征图像和右眼特征图像进行处理，并结合深度信息图像计算出注视点；S5、结合注视点和用户特征信息输出用户特征与注视信息，并响应于交互动作执行对应程序。本申请实现了图像中每个像素点深度信息的精确计算，生成与输入图像完全对应的深度信息图。

公开(公告)号：CN119225528A

公开(公告)日：2024-12-31

申请号：CN202411162687.9

申请日：2024-08-23

Applicant: 厦门大学

Inventor： 郭伟杰 ,  吴宗宇 ,  吕毅军 ,  陈忠

IPC: G06F3/01 ,  G06V40/18 ,  G06V10/82 ,  G06V20/50 ,  G06V10/20 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提出了一种眼动追踪交互方法，包括：S1、采集眼部图像和场景图像；通过神经网络将眼部图像进行分类，其中一类为睁眼图像，另一类为闭眼与未检测到瞳孔的图像；S2、构建眼动模型和YOLO目标识别模型，并训练眼动模型和YOLO目标识别模型；S3、对睁眼图像和场景图像进行预处理得到眼部图像数据和场景图像数据；将眼部图像数据和场景图像数据分别输入眼动模型和YOLO目标识别模型，获得注视点坐标、目标类型和目标类型的像素坐标；S4、进行注视目标判定，若判断目标被注视则执行目标对应程序。通过眼动模型与yolo结合对现实物体进行注视之后进行选中的方法，进一步扩展了眼动追踪的应用。

公开(公告)号：CN117215053A

公开(公告)日：2023-12-12

申请号：CN202311165669.1

申请日：2023-09-11

Applicant: 厦门大学

Inventor： 郭伟杰 ,  吴宗宇 ,  李光耀 ,  林晓琳 ,  林仁辉 ,  吕毅军 ,  陈忠

IPC: G02B27/00 ,  G06V40/18 ,  G06V40/19 ,  H04N23/20 ,  H04N23/611 ,  H04M1/72412

Abstract: 本发明主要涉及一款基于手机的眼动仪的创新技术，该装置使用OV2640红外摄像头、32位微处理器模块和安卓手机等设备实现。该装置主要通过OV2640红外摄像头捕捉用户眼睛图像处理得到眼动向量，再通过眼动向量映射到可见光摄像头中的图片对用户正在观看的目标进行实时追踪。用户完成设备校准后通过穿戴单目便携式眼动追踪装置能自由移动且实现WI FI覆盖范围内的远程眼动追踪。设备主要分为两部分，第一部分是眼镜部分，实现图像预处理和无线远程传输。第二部分是图像处理终端的手机app，通过眼镜上的无线WiFi模块将图像送到手机端进行处理并输出用户注视点图像。用户像佩戴普通眼镜一样佩戴该眼动仪，只需打开手机热点和手机app，即可连上眼动仪设备实现眼动追踪。

公开(公告)号：CN116452530A

公开(公告)日：2023-07-18

申请号：CN202310367495.0

申请日：2023-04-07

Applicant: 厦门大学

Inventor： 郭伟杰 ,  吴宗宇 ,  李光耀 ,  林晓琳 ,  林仁辉 ,  吕毅军 ,  陈忠

IPC: G06T7/00 ,  G06T7/13 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及一种眼动追踪方法及眼动追踪装置，所述方法通过搭建人眼眼动追踪系统，实时采集人眼的注视点，计算出人们在观察一个事物的注视点的轨迹图和热点图。据此结果，用于评估出人们在浏览外界事物时的注意力的重点和感兴趣的关键部分。该项发明，不仅可以用于产品设计风格的改善和调整，更加适应大众的主观感受和吸引观众的眼球。同时，该发明也可以用于人们情绪，疲劳状态的评估和医学上神经领域情感障碍的临床治疗。