公开(公告)号：CN114648805B

公开(公告)日：2022-09-02

申请号：CN202210537861.8

申请日：2022-05-18

Applicant: 华中科技大学

Inventor： 许炜 ,  郑祎能 ,  蔡世鹏 ,  饶龙

IPC: G06V40/18 ,  G06V10/46 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  H04N21/44 ,  H04N21/478

Abstract: 本发明公开了一种针对课程视频的视线修正系统、对该系统的训练方法以及利用训练好的视线修正系统进行视线落点估计的方法，其中，利用神经网络，先对视线落点的初始热度图和带语音可视化标注的课程视频帧进行通道拼接，再对所拼接的特征进行显著性检测，然后对所提取的显著性特征进行还原，得到视线落点的修正热度图。本发明一方面基于显著性检测对初始热度图进行修正，另一方面对输入的课程视频帧添加语音可视化标注，以提高显著性检测的效果，从而提高视线落点估计的精度。

公开(公告)号：CN114648805A

公开(公告)日：2022-06-21

申请号：CN202210537861.8

申请日：2022-05-18

Applicant: 华中科技大学

Inventor： 许炜 ,  郑祎能 ,  蔡世鹏 ,  饶龙

IPC: G06V40/18 ,  G06V10/46 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  H04N21/44 ,  H04N21/478

Abstract: 本发明公开了一种针对课程视频的视线修正模型、对该模型的训练方法以及利用训练好的视线修正模型进行视线落点估计的方法，其中，利用神经网络，先对视线落点的初始热度图和带语音可视化标注的课程视频帧进行通道拼接，再对所拼接的特征进行显著性检测，然后对所提取的显著性特征进行还原，得到视线落点的修正热度图。本发明一方面基于显著性检测对初始热度图进行修正，另一方面对输入的课程视频帧添加语音可视化标注，以提高显著性检测的效果，从而提高视线落点估计的精度。