公开(公告)号：CN112818861B

公开(公告)日：2022-07-26

申请号：CN202110141728.6

申请日：2021-02-02

Applicant: 南京邮电大学

Inventor： 卢官明 ,  奚晨 ,  卢峻禾

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括：将短视频以话语为单位分割成相同数量的语义单元，生成对应的视频、语音和文本样本，并提取表情特征、语谱图和句子向量三种表征特征；将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器，提取对应的情感语义特征；分别使用表情、语音、文本情感语义特征的上下文关系，构建相应的邻接矩阵；分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络，提取对应的上下文情感语义特征，并融合得到多模态情感特征，用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系，能有效地提高情感分类的准确率。

公开(公告)号：CN112818861A

公开(公告)日：2021-05-18

申请号：CN202110141728.6

申请日：2021-02-02

Applicant: 南京邮电大学

Inventor： 卢官明 ,  奚晨 ,  卢峻禾

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括：将短视频以话语为单位分割成相同数量的语义单元，生成对应的视频、语音和文本样本，并提取表情特征、语谱图和句子向量三种表征特征；将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器，提取对应的情感语义特征；分别使用表情、语音、文本情感语义特征的上下文关系，构建相应的邻接矩阵；分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络，提取对应的上下文情感语义特征，并融合得到多模态情感特征，用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系，能有效地提高情感分类的准确率。

公开(公告)号：CN107657630A

公开(公告)日：2018-02-02

申请号：CN201710599842.7

申请日：2017-07-21

Applicant: 南京邮电大学

Inventor： 李晓飞 ,  陶凯 ,  奚晨 ,  程铄雅

IPC: G06T7/277

CPC classification number: G06T7/277

Abstract: 本发明公开了一种基于KCF的改进型抗遮挡目标跟踪方法，基于KCF算法并和卡尔曼滤波器相结合，KCF算法跟踪速度快，跟踪精度高，在目标跟踪领域有着广泛应用，但其无法很好地应对尺度变化和目标大面积遮挡的情况。本发明使用并行计算实现KCF的多尺度目标检测，同时设计一种有效的判别目标遮挡的算法，当本发明判定目标发生严重遮挡时，使用卡尔曼滤波器的预测结果作为当前帧目标位置。经过实验证明，本发明可以有效应对KCF算法面对目标大面积遮挡时跟踪漂移状况的发生，使得KCF算法在面对遮挡时能够更加准确地跟踪目标。