融合CLIP和自适应图变换网络的人格预测方法及装置

    公开(公告)号:CN119068393A

    公开(公告)日:2024-12-03

    申请号:CN202411145652.4

    申请日:2024-08-20

    Inventor: 王荣全 马惠敏

    Abstract: 本发明涉及情感计算技术领域,特别是指一种融合CLIP和自适应图变换网络的人格预测方法及装置。所述方法包括:获取待进行人格预测的视频数据;根据视频数据以及Wav2CLIP‑graph方法,得到音频‑场景关联特征;根据视频数据以及CLIP方法,得到场景‑人格描述词关联特征;根据视频数据以及VGGish CNN‑RNN方法,得到音频表示特征;将音频‑场景关联特征、场景‑人格描述词关联特征以及音频表示特征输入到多模态通道注意力残差融合模块,得到融合多模态特征,进而得到人格特质预测结果。本发明提出了一个新颖的多模态特征学习框架,用于从短视频中分析人格特质。

    一种基于周期稀疏注意的周期性信号检测方法及装置

    公开(公告)号:CN118097498B

    公开(公告)日:2024-10-08

    申请号:CN202410170587.4

    申请日:2024-02-06

    Abstract: 本发明涉及周期性信号检测领域,特别是指一种基于周期稀疏注意的周期性信号检测方法及装置,方法包括:获取待检测的视频数据,进行数据预处理;将数据输入到基于周期稀疏注意的周期性信号检测模型;其中,周期性信号检测模型包括:卷积模块、块编码模块、层次化时间周期变换器模块以及信号预测头模块;对模型输出进行数据后处理得到周期性信号检测结果。本发明显式的利用周期性,提出了一种周期稀疏注意力机制。先让模型通过预注意阶段感知到信号的周期性特征,在较大的时空感受野计算时空相关性,聚合时间上相位相近、空间上信号丰富的高相关度区域;然后通过进一步的精细关注阶段细粒度地在上述区域中从多个时间尺度中建模周期性信号。

    一种基于结构化场景理解的目标导航方法及装置

    公开(公告)号:CN118230022A

    公开(公告)日:2024-06-21

    申请号:CN202410181460.2

    申请日:2024-02-18

    Abstract: 本发明涉及数据处理技术领域,公开了一种基于结构化场景理解的目标导航方法,包括:基于仿真平台构建的场景结构标注数据,结合现有知识规则对场景结构标注数据进行扩展得到组合标签的图结构数据;获取仿真平台的操作动作标签,并基于现有知识规则对操作动作标签进行修正;基于修正后的操作动作对组合标签分类器进行训练以输出带有组合标签的知识图数据集;基于知识图数据集进行包括图编码、时序随机游走、知识网络推理的知识推理,最终输出决策结果。本发明还公开了应用该方法的装置。降低了图像纹理所带来的干扰,减少依赖于图像和物体的本身特征,改善了适应性差的问题,并且融合了常识策略知识提升智能体决策的准确性。

    一种基于场景重建的三维点云标注方法与系统

    公开(公告)号:CN118115994A

    公开(公告)日:2024-05-31

    申请号:CN202410314925.7

    申请日:2024-03-19

    Abstract: 本发明涉及点云数据标注技术领域,特别是指一种基于场景重建的三维点云标注方法与系统,方法包括:用户端将预先采集的道路场景图像数据输入三维场景重建平台中,对道路场景图像数据进行处理,获得道路场景的三维重建场景图像;将点云数据输入点云语义分割平台,获得语义分割预标注结果;将点云数据输入3D边界框标注平台,获得3D边界框预标注结果;用户端根据三维重建场景图像,对预标注结果进行人工修正,获得语义分割标注结果以及3D边界框标注结果;将语义分割标注结果与3D边界框标注结果取交集,获得实例标签。采用本发明,可节省人工标注时间,提高标注质量。

    基于融合特征增强的非接触式生理信号检测方法及装置

    公开(公告)号:CN117694845A

    公开(公告)日:2024-03-15

    申请号:CN202410168344.7

    申请日:2024-02-06

    Abstract: 本发明涉及生理信号检测领域,特别是指一种基于融合特征增强的非接触式生理信号检测方法及装置,方法包括:获取待检测脉搏波的视频数据,对视频数据进行预处理,得到预处理后的视频数据;将预处理后的视频数据输入到非接触式生理信号检测模型,得到脉搏波信号;其中,非接触式生理信号检测模型包括:融合主干模块、时差变换器模块以及预测器模块;根据脉搏波信号对心率、心率变异性等生理信号进行计算,得到非接触式生理信号检测结果。本发明通过将差分帧融合到原始帧中,使帧级表示能够感知BVP波变化,有效增强rPPG表示,进而引导变换器的自注意力机制,加强其对rPPG特征的关注。

    基于决策级融合的低光照场景多模态行人检测跟踪方法

    公开(公告)号:CN117636241A

    公开(公告)日:2024-03-01

    申请号:CN202311537940.X

    申请日:2023-11-17

    Abstract: 本发明涉及目标检测跟踪技术领域,特别是指一种基于决策级融合的低光照场景多模态行人检测跟踪方法及装置。一种基于决策级融合的低光照场景多模态行人检测跟踪方法包括:使用红外图像以及可见光图像,对目标检测模型进行训练,获得红外检测模型以及可见光检测模型;基于红外检测模型、可见光检测模型以及决策级融合算法进行模型构建,获得决策级融合检测模型;将待检测红外图像以及待检测可见光图像输入决策级融合检测模型,获得融合检测结果;将融合检测结果输入多目标跟踪算法,获得多目标跟踪结果;根据多目标跟踪结果进行可视化处理,获得跟踪视频序列。本发明是一种基于决策级融合的高效、实时的低光照多模态行人检测跟踪方法。

    基于多尺度融合GRU网络的汽车电池SOC多步预测方法与系统

    公开(公告)号:CN117630683A

    公开(公告)日:2024-03-01

    申请号:CN202410106018.3

    申请日:2024-01-25

    Abstract: 本发明公开了基于多尺度融合GRU网络的汽车电池SOC多步预测方法与系统,方法包括:S1、将每种传感器检测项视为一个变量,采集实车传感器的综合数据,将其转换为标准正态分布;选择与SOC高度相关的变量构建滑动窗口;将滑动窗口80%的数据作为训练集,20%数据作为验证集;S2、将基于多尺度融合GRU网络模型参数初始化,同时设定若干关键的超参数,对训练集执行离线训练生成SOC多步预测结果;本发明采用上述基于多尺度融合GRU网络的汽车电池SOC多步预测方法与系统,能更好地在历史数据中捕获短期和长期的依赖,从而更准确地预测电池在多样化和不稳定环境中的行为,在真实世界应用中实现更高的准确度和可靠性。

Patent Agency Ranking