一种跨模态因果推理方法、装置、存储介质及电子设备

    公开(公告)号:CN118297164B

    公开(公告)日:2024-12-20

    申请号:CN202410525056.2

    申请日:2024-04-29

    Inventor: 袁召全 徐文 吴晓

    Abstract: 本申请的实施例提供了一种跨模态因果推理方法、装置、存储介质及电子设备,涉及因果推理技术领域,所述方法包括:对原始样本进行干预操作,得到干预样本;利用预训练模型分别提取所述原始样本、所述干预样本以及目标样本的特征;将混淆因子与所述目标样本的特征进行加权处理,得到混淆因子加权特征;基于所述原始样本的特征、所述干预样本的特征以及所述混淆因子加权特征进行特征拼接处理以及特征融合处理,计算得到所述目标样本的平均因果效应值;获取多个目标样本的平均因果效应值,并基于多个目标样本的平均因果效应值确认出与所述原始样本存在因果关系的目标样本。本申请技术方案,提高了交互表征的准确性和因果评估的可靠性。

    基于层次多任务学习的示意图问答方法

    公开(公告)号:CN113869349A

    公开(公告)日:2021-12-31

    申请号:CN202110892487.9

    申请日:2021-08-04

    Inventor: 袁召全 彭潇 吴晓

    Abstract: 本发明涉及图像问答技术领域,尤其涉及基于层次多任务学习的示意图问答方法,包括如下步骤:S1、对训练图像,预训练目标检测器检测图像成分,进行位置编码和视觉特征提取;S2、对训练集图像,区域特征序列作为图解析模块的输入,预测成分和成分之间的关系;S3、对训练集问题和备选答案,组成陈述句后进行词例化处理并提取语言特征,得到备选答案和问题组成的语言序列;S4、对训练集,将图解析模块的输出与语言序列拼接输入问答模块,训练网络参数;S5、对测试集图像,将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起,利用多层次的任务来训练,实现了基于解析和问答两个层次的多任务学习框架。

    一种跨模态因果推理方法、装置、存储介质及电子设备

    公开(公告)号:CN118297164A

    公开(公告)日:2024-07-05

    申请号:CN202410525056.2

    申请日:2024-04-29

    Inventor: 袁召全 徐文 吴晓

    Abstract: 本申请的实施例提供了一种跨模态因果推理方法、装置、存储介质及电子设备,涉及因果推理技术领域,所述方法包括:对原始样本进行干预操作,得到干预样本;利用预训练模型分别提取所述原始样本、所述干预样本以及目标样本的特征;将混淆因子与所述目标样本的特征进行加权处理,得到混淆因子加权特征;基于所述原始样本的特征、所述干预样本的特征以及所述混淆因子加权特征进行特征拼接处理以及特征融合处理,计算得到所述目标样本的平均因果效应值;获取多个目标样本的平均因果效应值,并基于多个目标样本的平均因果效应值确认出与所述原始样本存在因果关系的目标样本。本申请技术方案,提高了交互表征的准确性和因果评估的可靠性。

    基于层次多任务学习的示意图问答方法

    公开(公告)号:CN113869349B

    公开(公告)日:2022-10-14

    申请号:CN202110892487.9

    申请日:2021-08-04

    Inventor: 袁召全 彭潇 吴晓

    Abstract: 本发明涉及图像问答技术领域,尤其涉及基于层次多任务学习的示意图问答方法,包括如下步骤:S1、对训练图像,预训练目标检测器检测图像成分,进行位置编码和视觉特征提取;S2、对训练集图像,区域特征序列作为图解析模块的输入,预测成分和成分之间的关系;S3、对训练集问题和备选答案,组成陈述句后进行词例化处理并提取语言特征,得到备选答案和问题组成的语言序列;S4、对训练集,将图解析模块的输出与语言序列拼接输入问答模块,训练网络参数;S5、对测试集图像,将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起,利用多层次的任务来训练,实现了基于解析和问答两个层次的多任务学习框架。

    一种基于特征精炼与多视图的人物物交互动作检测方法

    公开(公告)号:CN115984966B

    公开(公告)日:2023-10-13

    申请号:CN202310005121.4

    申请日:2023-01-03

    Abstract: 本发明提供了一种基于特征精炼与多视图的人物物交互动作检测方法,包括S1:对待检测的视频帧进行实体时序特征提取,获取实体时序特征;S2:对实体时序特征进行精练,获得精练后的实体时序特征;S3:基于精炼的实体时序特征,获取以人为中心的交互动作建模模型;S4:采用以人为中心的交互动作建模模型,构建和融合多组多视图人物物交互动作特征,获得人物物交互动作分类特征;S5:通过动作分类器对人物物交互动作进行分类。提高了时序特征表征的准确性,增强了人物物交互动作表征的鲁棒性并且解决了视频流中人物物交互动作检测的问题。

    一种基于特征精炼与多视图的人物物交互动作检测方法

    公开(公告)号:CN115984966A

    公开(公告)日:2023-04-18

    申请号:CN202310005121.4

    申请日:2023-01-03

    Abstract: 本发明提供了一种基于特征精炼与多视图的人物物交互动作检测方法,包括S1:对待检测的视频帧进行实体时序特征提取,获取实体时序特征;S2:对实体时序特征进行精练,获得精练后的实体时序特征;S3:基于精炼的实体时序特征,获取以人为中心的交互动作建模模型;S4:采用以人为中心的交互动作建模模型,构建和融合多组多视图人物物交互动作特征,获得人物物交互动作分类特征;S5:通过动作分类器对人物物交互动作进行分类。提高了时序特征表征的准确性,增强了人物物交互动作表征的鲁棒性并且解决了视频流中人物物交互动作检测的问题。

Patent Agency Ranking