视频行为预测方法、系统、电子设备及存储介质

    公开(公告)号:CN113705402B

    公开(公告)日:2024-08-13

    申请号:CN202110950812.2

    申请日:2021-08-18

    Abstract: 本发明提供一种视频行为预测方法、系统、电子设备及存储介质,方法包括:获取待预测的目标视频;将目标视频输入至视频行为预测模型,得到视频行为预测模型输出的行为预测结果;其中,视频行为预测模型用于通过图卷积神经网络对目标视频的历史时刻特征和未来时刻的状态特征进行动态关系建模,通过知识蒸馏对图卷积神经网络进行优化,基于优化后的图卷积神经网络,融合动态关系建模后的多模态特征,得到视频行为预测结果。本发明提供的视频行为预测方法、系统、电子设备及存储介质,可以有效地捕捉视频中历史片段和未来片段的多模态动态关系变化,通过知识蒸馏优化后的图卷积神经网络,可以更加准确的预测视频未来发生行为。

    一种实时事件流识别方法及系统
    5.
    发明公开

    公开(公告)号:CN113901880A

    公开(公告)日:2022-01-07

    申请号:CN202111069905.0

    申请日:2021-09-13

    Abstract: 本发明提供一种实时事件流识别方法及系统,包括:确定待识别个体事件;将所述待识别个体事件输入至预先训练好的事件流检测模型,得到个体事件识别结果;其中,所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后,将所述融合特征进行边界匹配,并基于个体自适应元学习进行分类识别后所得到。本发明通过对健康实时事件进行识别时,采用模型无关的元学习策略对事件流检测模型进行优化,实现了以最低代价得到具有个体自适应的检测模型,大大提高模型的泛化能力。

    基于知识图谱预测视频精彩级别的方法、装置及存储介质

    公开(公告)号:CN110851621A

    公开(公告)日:2020-02-28

    申请号:CN201911055049.6

    申请日:2019-10-31

    Abstract: 本申请实施例涉及视频中精彩片段检测场景,提供一种基于知识图谱预测视频精彩级别的方法、装置及存储介质,方法包括:识别各视频分片中存在的多个语义概念以及获取各语义概念的概率分布特征;根据预设的先验概念和多个语义概念,确定各语义概念对应先验情感的情感特征,以及各语义概念和先验情感之间的关联关系;根据各语义概念和先验情感之间的关联关系得到图结构;根据各语义概念的概率分布特征、情感特征、词向量,得到图特征;根据所述图结构和所述图特征预测各视频分片对应的精彩级别。本方案能够提高检测精彩视频分片的准确率和效率,以及适用多种场景的视频。

    描述文本生成方法及装置

    公开(公告)号:CN110110145A

    公开(公告)日:2019-08-09

    申请号:CN201810082485.1

    申请日:2018-01-29

    Inventor: 杨小汕 徐常胜

    Abstract: 本申请公开了一种描述文本生成方及装置,属于信息处理领域。所述方法包括:从目标对象中提取出至少一个视觉特征向量,所述目标对象为视频或图片;获取与每个所述视觉特征向量对应的语义特征向量;对所述至少一个视觉特征向量,以及每个所述视觉特征向量对应的语义特征向量进行处理,得到所述目标对象的描述文本。本申请提供的方法的描述准确性和灵活性较高。

    基于知识图谱预测视频精彩级别的方法、装置及存储介质

    公开(公告)号:CN110851621B

    公开(公告)日:2023-10-13

    申请号:CN201911055049.6

    申请日:2019-10-31

    Abstract: 本申请实施例涉及视频中精彩片段检测场景,提供一种基于知识图谱预测视频精彩级别的方法、装置及存储介质,方法包括:识别各视频分片中存在的多个语义概念以及获取各语义概念的概率分布特征;根据预设的先验概念和多个语义概念,确定各语义概念对应先验情感的情感特征,以及各语义概念和先验情感之间的关联关系;根据各语义概念和先验情感之间的关联关系得到图结构;根据各语义概念的概率分布特征、情感特征、词向量,得到图特征;根据所述图结构和所述图特征预测各视频分片对应的精彩级别。本方案能够提高检测精彩视频分片的准确率和效率,以及适用多种场景的视频。

    描述文本生成方法及装置

    公开(公告)号:CN110110145B

    公开(公告)日:2023-08-22

    申请号:CN201810082485.1

    申请日:2018-01-29

    Inventor: 杨小汕 徐常胜

    Abstract: 本申请公开了一种描述文本生成方及装置,属于信息处理领域。所述方法包括:从目标对象中提取出至少一个视觉特征向量,所述目标对象为视频或图片;获取与每个所述视觉特征向量对应的语义特征向量;对所述至少一个视觉特征向量,以及每个所述视觉特征向量对应的语义特征向量进行处理,得到所述目标对象的描述文本。本申请提供的方法的描述准确性和灵活性较高。

    基于胶囊网络和多模态信息的疾病诊断方法及相关设备

    公开(公告)号:CN116453680A

    公开(公告)日:2023-07-18

    申请号:CN202310114053.5

    申请日:2023-02-06

    Abstract: 本发明提供一种基于胶囊网络和多模态信息的疾病诊断方法、装置、电子设备和存储介质,其中方法包括:确定当前次检测的诊断数据和生理测量数据;对诊断数据和生理测量数据分别进行特征提取,并进行融合得到对应的融合特征;将融合特征转换为对应的第一胶囊特征;获取相邻前一次得到的第二胶囊特征,并根据第一胶囊特征和第二胶囊特征,得到当前对应的诊断结果。实现了在疾病诊断过程中,采集多模态的数据作为诊断依据,同时基于胶囊网络对数据进行处理,提高数据的有效性,进而提高了疾病诊断确认的及时性和准确性。

Patent Agency Ranking