公开(公告)号：CN116343290A

公开(公告)日：2023-06-27

申请号：CN202310167964.4

申请日：2023-02-22

Applicant: 武汉大学

Inventor： 李霖 ,  武新梅 ,  李林峰 ,  朱海红 ,  汪杨刚 ,  杨明洁 ,  严如玉

IPC: G06V40/16 ,  G06V40/18 ,  G06V10/766 ,  G06V10/82 ,  G06F3/01 ,  G06N3/0464 ,  G06N3/08

Abstract: 公开了一种基于外观的人眼三维视线方向估计方法、系统、装置。该方法为：获取包含人脸的图像或视频；进行图像或视频帧中人脸检测，引入人脸关键点检测算法实现人脸关键点的检测与定位；根据人脸检测结果及关键点的位置分别裁剪出人脸图像和左右眼图像；使用视线估计模型估计图像中人眼三维视线，所述视线估计模型的训练过程为：使用Base‑CNNs网络对人脸图像进行特征提取以获取全脸图像特征向量，使用EE‑Net网络的两个不对称分支结构分别对左右眼图像进行更细粒度的特征提取以获得双眼图像特征向量，结合人脸关键点检测算法进行头部姿态向量的估算，最后使用全连接层对全脸图像特征向量、双眼图像特征向量及头部姿态向量进行回归，用于最终的视线估计任务。