-
公开(公告)号:CN117011916A
公开(公告)日:2023-11-07
申请号:CN202310914480.1
申请日:2023-07-21
Applicant: 电子科技大学
IPC: G06V40/16 , G06V10/80 , G06V10/764
Abstract: 本发明公开了一种基于视频级标签的微表情与宏表情自动定位方法,首先基于视频图像生成光流,切分视频图像和光流到统一长度的片段并生成输入特征,再使用核心显著互补模块捕捉图像与光流的相似度并实现各自的模态显著一致性,使用模态互补后的特征生成模态相关注意以及计算两个模态的的平均注意,然后使用时序上的分布差异完成微表情和宏表情的视频分布一致性以及利用面部肌肉的运动时长差异实现微表情和宏表情的标签时长一致性,最后使用相同标签对应特征的相似度实现微表情和宏表情的片段特征一致性。本发明的方法基于视频级的弱标签实现细粒度的帧级微表情和宏表情定位,解决了现存视频微表情与宏表情帧级标注耗时耗力以及先验知识融入的问题。