人眼视线落点估计方法、系统、电子设备

    公开(公告)号:CN116386103A

    公开(公告)日:2023-07-04

    申请号:CN202310162775.8

    申请日:2023-02-22

    Applicant: 武汉大学

    Abstract: 本发明公开了一种人眼视线落点估计方法、系统、电子设备。该方法包括:采集包含人脸的图像或视频;然后采用人脸检测算法检测所采集视频或图像中的人脸,同时使用关键点检测算法进行人脸关键点定位;根据关键点的位置及人脸检测结果左右眼图像和人脸图像;将这些图像及能够表征人脸在图像中相对位置的face grid图像输入到人眼视线落点估计模型,用于最终人眼视线落点的估计。人眼视线落点估计模型包括Base‑CNNs网络和EE‑Net网络,Base‑CNNs网络对包含较少细节信息的全脸图像特征进行提取,包含两个不对称分支的EE‑Net网络分别对左右眼图像进行更细粒度的特征提取,最后使用全连接层对全脸图像特征向量、双眼图像特征向量及face grid图像进行回归,用于最终的视线估计任务。

Patent Agency Ranking