公开(公告)号：CN116343290A

公开(公告)日：2023-06-27

申请号：CN202310167964.4

申请日：2023-02-22

Applicant: 武汉大学

Inventor： 李霖 ,  武新梅 ,  李林峰 ,  朱海红 ,  汪杨刚 ,  杨明洁 ,  严如玉

IPC: G06V40/16 ,  G06V40/18 ,  G06V10/766 ,  G06V10/82 ,  G06F3/01 ,  G06N3/0464 ,  G06N3/08

Abstract: 公开了一种基于外观的人眼三维视线方向估计方法、系统、装置。该方法为：获取包含人脸的图像或视频；进行图像或视频帧中人脸检测，引入人脸关键点检测算法实现人脸关键点的检测与定位；根据人脸检测结果及关键点的位置分别裁剪出人脸图像和左右眼图像；使用视线估计模型估计图像中人眼三维视线，所述视线估计模型的训练过程为：使用Base‑CNNs网络对人脸图像进行特征提取以获取全脸图像特征向量，使用EE‑Net网络的两个不对称分支结构分别对左右眼图像进行更细粒度的特征提取以获得双眼图像特征向量，结合人脸关键点检测算法进行头部姿态向量的估算，最后使用全连接层对全脸图像特征向量、双眼图像特征向量及头部姿态向量进行回归，用于最终的视线估计任务。

公开(公告)号：CN116386103A

公开(公告)日：2023-07-04

申请号：CN202310162775.8

申请日：2023-02-22

Applicant: 武汉大学

Inventor： 李霖 ,  武新梅 ,  朱海红 ,  李思宇 ,  于璐 ,  严如玉

IPC: G06V40/16 ,  G06V40/18 ,  G06V10/766 ,  G06V10/82 ,  G06F3/01 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种人眼视线落点估计方法、系统、电子设备。该方法包括：采集包含人脸的图像或视频；然后采用人脸检测算法检测所采集视频或图像中的人脸，同时使用关键点检测算法进行人脸关键点定位；根据关键点的位置及人脸检测结果左右眼图像和人脸图像；将这些图像及能够表征人脸在图像中相对位置的face grid图像输入到人眼视线落点估计模型，用于最终人眼视线落点的估计。人眼视线落点估计模型包括Base‑CNNs网络和EE‑Net网络，Base‑CNNs网络对包含较少细节信息的全脸图像特征进行提取，包含两个不对称分支的EE‑Net网络分别对左右眼图像进行更细粒度的特征提取，最后使用全连接层对全脸图像特征向量、双眼图像特征向量及face grid图像进行回归，用于最终的视线估计任务。

公开(公告)号：CN118675157A

公开(公告)日：2024-09-20

申请号：CN202410815376.1

申请日：2024-06-24

Applicant: 武汉大学

Inventor： 李霖 ,  武新梅 ,  马建芳 ,  周刚 ,  朱海红 ,  严如玉

IPC: G06V20/59 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/44 ,  G06V10/46 ,  G06N3/047 ,  G06N3/048 ,  G06N3/042 ,  G06T7/73

Abstract: 本发明提出了一种辅助安全驾驶的多任务驾驶员视线估计方法及系统。本发明从视频序列中获取多帧驾驶员图像，通过Dlib CNN方法提取每帧驾驶员图像的人脸关键特征点及面部区域图像，结合每帧驾驶员图像的人脸关键特征点进行眼部区域裁剪及头部姿态提取，得到每帧驾驶员图像的左眼区域图像、右眼区域图像、头部姿态；构建驾驶员视线估计网络，将每帧驾驶员图像的左眼区域图像、右眼区域图像、面部区域图像、头部姿态作为驾驶员视线估计网络的输入，得到每帧驾驶员图像的估计视线方向、估计注视区域类型；获取实时驾驶员图像，输入至驾驶视线估计网络，得到实时驾驶员估计视线方向、估计注视区域类型。

公开(公告)号：CN116071327A

公开(公告)日：2023-05-05

申请号：CN202310093903.8

申请日：2023-01-18

Applicant: 武汉大学

Inventor： 朱海红 ,  李思宇 ,  李霖 ,  于璐 ,  李林峰 ,  胡伦庭 ,  武新梅

IPC: G06T7/00 ,  G06T5/00 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06V10/42 ,  G06V20/70 ,  G06N3/0464 ,  G06N3/0985 ,  G06N3/084

Abstract: 本发明提供一种基于深度神经网络的工件缺陷检测方法。根据图像的全局特征对训练图像进行图像增强处理，减轻由于不同环境光照引起的图像质量不一的问题，增强缺陷检测算法的环境适应能力；将深度神经网络作为特征提取的主干网络，获取更深层的语义信息；在特征金字塔中进行浅层特征和深层信息的特征融合，充分利用上下文信息，并引入注意力机制，用于抑制融合后的特征对于原有细节特征的干扰，实现了语义信息和细节信息的有效融合，提高对于各尺度缺陷的检测性能。本发明可以较为准确、有效地在工件的部件数据集中不同光照条件下的产品图像检测到各类型各尺度的缺陷。