-
公开(公告)号：CN119226921A
公开(公告)日：2024-12-31
申请号：CN202411289182.9
申请日：2024-09-14
IPC: G06F18/2415 , G06F18/2431 , G06F18/25 , G06F18/15 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/048
Abstract: 本发明公开了一种多粒度层谱融合的场合认知方法，包括以下步骤：采集不同场合下的视频图像和音频数据，对视频图像和音频数据进行人物面部、骨架、场合描述、人物交互检测、场合背景、场合类别及情感类别进行标注，构建基于深度学习的面部特征提取网络、骨架特征提取网络、文本特征提取网络、人物交互特征提取网络、背景特征提取网络和音频特征提取网络，分别提取场合中的不同粒度不同层谱的特征，并利用图神经网络进行特征融合，获得多粒度的层谱融合特征，最后构建分类器实现场合识别和情感识别，从而完成场合认知。本发明利用多层谱多粒度的场合特征，为场合认知提供了客观、连续的认知依据，从而实现更加精确的场合认知。
-
公开(公告)号：CN118196592A
公开(公告)日：2024-06-14
申请号：CN202410389698.4
申请日：2024-04-02
IPC: G06V10/82 , G06V10/764 , G06V10/80
Abstract: 本发明公开了一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质，包括构建不确定性跨粒度证据特征融合网络，获得不同粒度下的各意图类别对应的二元隶属证据对；对齐证据对的跨粒度层次表示；构建证据指导的不确定性估计网络；融合来自不同粒度的意见；将训练图像经过跨粒度证据特征融合网络得到意图理解结果，送入二元证据损失函数，对不确定性跨粒度证据特征融合网络进行训练；将测试图像输入到训练好的跨粒度证据特征融合网络，获得对图像背后人类意图的理解结果。本发明还包括基于层次关系的跨粒度证据对齐策略，将不同粒度层下的结果对齐为统一的形式；基于不确定性的意见组合规则，融合来自不同粒度的意见。本发明将证据理论融入不确定性框架，利用不确定性指导跨粒度融合，增强了网络对跨粒度信息的表征能力，大大降低了意图类别歧义所带来的影响，提高对视觉内容的全面理解和对其背后人类意图的识别能力，从而提高人机视觉交互的能力。
-
公开(公告)号：CN114926837B
公开(公告)日：2023-08-04
申请号：CN202210583163.1
申请日：2022-05-26
Applicant: 东南大学
IPC: G06V20/70 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于人‑物时空交互行为的情感识别方法，其过程为：采集人与物体交互行为过程的视频数据；对人、物体的位置以及人所表现的交互行为和情感进行数据标注；构建基于深度学习的特征提取模型，抽取人与物体在时空维度的交互行为特征，并进行人‑物交互行为的位置和类别检测；通过词向量模型，将检测得到的交互行为类别映射为向量形式；最后构建基于深度学习的融合模型，融合交互行为向量和时空交互行为特征，识别交互人所表现的情感。本发明采用了人与物体在时空中的交互信息，对识别目标情感提供了客观、连续的判断依据，避免了情感识别结果受目标主观性和采集方式的影响，更准确地识别出目标的真实情感状态。
-
公开(公告)号：CN114926837A
公开(公告)日：2022-08-19
申请号：CN202210583163.1
申请日：2022-05-26
Applicant: 东南大学
Abstract: 本发明公开了一种基于人‑物时空交互行为的情感识别方法，其过程为：采集人与物体交互行为过程的视频数据；对人、物体的位置以及人所表现的交互行为和情感进行数据标注；构建基于深度学习的特征提取模型，抽取人与物体在时空维度的交互行为特征，并进行人‑物交互行为的位置和类别检测；通过词向量模型，将检测得到的交互行为类别映射为向量形式；最后构建基于深度学习的融合模型，融合交互行为向量和时空交互行为特征，识别交互人所表现的情感。本发明采用了人与物体在时空中的交互信息，对识别目标情感提供了客观、连续的判断依据，避免了情感识别结果受目标主观性和采集方式的影响，更准确地识别出目标的真实情感状态。
-
-
-
Search Results
4
records
(took 0.014 seconds)
