公开(公告)号：CN112990122A

公开(公告)日：2021-06-18

申请号：CN202110448783.X

申请日：2021-04-25

Applicant: 之江实验室

Inventor： 李太豪 ,  马诗洁 ,  谢冰 ,  刘昱龙 ,  郑书凯 ,  裴冠雄

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视频基础单元分析的复杂行为识别方法。该方法将视频的行为识别拆分为时序上的原子行为，空间上基于目标检测和场景识别提取视频中的物体和背景信息，并将提取的语义信息送入时序模型进行分析。该方法相比以往的视频行为识别，将视频在时间和空间上进行分解为基础任务进行检测和识别，可解释性更强。同时基于此方法，可以针对不同的任务情况，选择性的提取需要的基础单元信息，通过拆分的方法增强了复杂行为识别任务的灵活性。

公开(公告)号：CN112579762B

公开(公告)日：2021-06-08

申请号：CN202110205409.7

申请日：2021-02-24

Applicant: 之江实验室

Inventor： 李太豪 ,  廖龙飞 ,  刘昱龙 ,  裴冠雄

IPC: G06F16/332 ,  G06F40/35

Abstract: 本发明涉及到情感分析领域，提出了一种基于语义、情感惯性和情感共性的对话情感分析方法，步骤包括：首先获取对话交替进行的多轮对话数据，并对不同人物角色进行标明；然后对多轮对话中的每条对话信息进行时序建模，提取出其中对应的语义信息表达序列；最后基于多轮对话所提取的语义信息表达序列，分离出对应的情感状态表达序列，并进行情感识别。在本发明中，打破了传统的以语义信息决定情感分类的做法，提出了由语义状态与情感状态分离的方法，由情感状态决定情感分类，从心理学的角度改进了现有对话情感分析方法，提升了情感识别的效果。

公开(公告)号：CN112597841A

公开(公告)日：2021-04-02

申请号：CN202011468475.5

申请日：2020-12-14

Applicant: 之江实验室

Inventor： 李太豪 ,  廖龙飞 ,  刘昱龙 ,  裴冠雄

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G10L25/63

Abstract: 本发明涉及到多模态情感分析领域，提出了一种基于门机制多模态融合的情感分析方法，具体为：首先获取多模态情感分析数据，针对不同模态特点提取特征表示；通过不同模态特征的表示获得每个模态特征对应的模态信息门；使用不同模态信息门对各模态进行模态增强，丰富模态信息表示；拼接不同模态表示得到多模态融合表示，使用多模态融合表示进行情感分类。本发明可以更好地增强主体情感表达模态的作用，削弱冗余情感表达模态的负面影响，帮助多模态特征情感识别更加精确。

公开(公告)号：CN112580527A

公开(公告)日：2021-03-30

申请号：CN202011533235.9

申请日：2020-12-22

Applicant: 之江实验室

Inventor： 李太豪 ,  刘昱龙 ,  廖龙飞 ,  裴冠雄

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06N20/10 ,  G06N20/20

Abstract: 本发明涉及图像识别技术领域，尤其涉及一种基于卷积长短期记忆网络的人脸表情识别方法，包括：步骤1、从待识别表情图像中检测出对应的人脸区域，并截取人脸区域图像块，用来进行表情识别；步骤2、将获取的人脸区域划分成多个人脸子区域图像块；步骤3、将人脸子区域图像块归一化至同一尺寸；步骤4、将归一化后的人脸子区域图像块输入ConvLSTM模型进行特征融合和特征分类。本发明能够有效降低脸部姿态对表情识别的影响，降低特征提取和特征分类分步实现导致的累计误差，提高表情识别准确率。