-
公开(公告)号:CN119068393A
公开(公告)日:2024-12-03
申请号:CN202411145652.4
申请日:2024-08-20
Applicant: 北京科技大学
Abstract: 本发明涉及情感计算技术领域,特别是指一种融合CLIP和自适应图变换网络的人格预测方法及装置。所述方法包括:获取待进行人格预测的视频数据;根据视频数据以及Wav2CLIP‑graph方法,得到音频‑场景关联特征;根据视频数据以及CLIP方法,得到场景‑人格描述词关联特征;根据视频数据以及VGGish CNN‑RNN方法,得到音频表示特征;将音频‑场景关联特征、场景‑人格描述词关联特征以及音频表示特征输入到多模态通道注意力残差融合模块,得到融合多模态特征,进而得到人格特质预测结果。本发明提出了一个新颖的多模态特征学习框架,用于从短视频中分析人格特质。
-
公开(公告)号:CN118097498B
公开(公告)日:2024-10-08
申请号:CN202410170587.4
申请日:2024-02-06
Applicant: 北京科技大学
IPC: G06V20/40 , G06N3/0464 , G06N3/048 , G06N3/0499 , G06N3/082 , G06V10/46 , G06V10/82
Abstract: 本发明涉及周期性信号检测领域,特别是指一种基于周期稀疏注意的周期性信号检测方法及装置,方法包括:获取待检测的视频数据,进行数据预处理;将数据输入到基于周期稀疏注意的周期性信号检测模型;其中,周期性信号检测模型包括:卷积模块、块编码模块、层次化时间周期变换器模块以及信号预测头模块;对模型输出进行数据后处理得到周期性信号检测结果。本发明显式的利用周期性,提出了一种周期稀疏注意力机制。先让模型通过预注意阶段感知到信号的周期性特征,在较大的时空感受野计算时空相关性,聚合时间上相位相近、空间上信号丰富的高相关度区域;然后通过进一步的精细关注阶段细粒度地在上述区域中从多个时间尺度中建模周期性信号。
-
公开(公告)号:CN118658039A
公开(公告)日:2024-09-17
申请号:CN202410731488.9
申请日:2024-06-06
Applicant: 北京科技大学 , 厦门国创中心先进电驱动技术创新中心
IPC: G06V10/82 , G06V10/762 , G06V10/25 , G06V10/62 , G06V20/54 , G06V10/80 , G06V10/764 , G06V10/766 , G06N3/0455 , G06N3/0442 , G06N3/084 , G06N3/0895 , G08G1/01
Abstract: 本发明涉及计算机视觉领域,特别涉及一种基于新型建议‑优化框架的自动驾驶轨迹预测方法及系统。方法包括:构建新型建议‑优化框架;获取可学习的特征编码,将可学习的特征编码输入至预设的基线模型中,通过基线模型输出解码数据;将解码数据输入至新型建议‑优化框架,对解码数据进行轨迹预测和轨迹优化;输出轨迹预测和轨迹优化数据,完成基于新型建议‑优化框架的自动驾驶轨迹预测。本发明提供的建议‑优化框架引入了基于聚类的建议轨迹生成模块,利用区域划分预测和区域轨迹原型作为细化的先验锚框,以及一种基于复杂度的优化模块,用于区分简单和复杂轨迹,使得优化模块能够专注于学习复杂轨迹的特征,从而提高长尾场景的预测准确性。
-
公开(公告)号:CN118245965A
公开(公告)日:2024-06-25
申请号:CN202410262385.2
申请日:2024-03-07
Applicant: 北京科技大学 , 中国民用航空飞行学院
IPC: G06F18/25 , G10L15/02 , G10L15/06 , G10L15/16 , G10L25/30 , G06F18/27 , G06F18/213 , G06V20/40 , G06V40/16 , G06V40/18 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提供一种多模态和图结构特征学习网络的大五人格预测方法和装置,应用于人格预测技术领域。所述方法包括:获取符合预设要求的短视频数据,从所述短视频数据提取图像序列、音频信号和音频转录后的文本,并分别输入训练的人脸特征提取模型、预训练的环境场景特征模型、预训练的音频特征模型和预训练的文本类特征提取器,分别得到静态人脸结构特征,动态环境场景时空特征、音频特征和文本特征,并进行特征融合,最后将融合特征向量输入训练的大五人格预测模型,得到大五人格的五种人格特质的预测值。本发明能够显著提高大五人格预测的准确性。
-
公开(公告)号:CN118230022A
公开(公告)日:2024-06-21
申请号:CN202410181460.2
申请日:2024-02-18
Applicant: 北京科技大学
IPC: G06V10/764 , G06N5/04 , G06N5/02 , G06N3/088 , G06V10/774 , G06V10/80 , G06V10/74
Abstract: 本发明涉及数据处理技术领域,公开了一种基于结构化场景理解的目标导航方法,包括:基于仿真平台构建的场景结构标注数据,结合现有知识规则对场景结构标注数据进行扩展得到组合标签的图结构数据;获取仿真平台的操作动作标签,并基于现有知识规则对操作动作标签进行修正;基于修正后的操作动作对组合标签分类器进行训练以输出带有组合标签的知识图数据集;基于知识图数据集进行包括图编码、时序随机游走、知识网络推理的知识推理,最终输出决策结果。本发明还公开了应用该方法的装置。降低了图像纹理所带来的干扰,减少依赖于图像和物体的本身特征,改善了适应性差的问题,并且融合了常识策略知识提升智能体决策的准确性。
-
公开(公告)号:CN118228194A
公开(公告)日:2024-06-21
申请号:CN202410393379.0
申请日:2024-04-02
Applicant: 北京科技大学 , 青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心)
IPC: G06F18/25 , G06F18/241 , G06F18/2431 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/082
Abstract: 本发明公开了一种融合时空图注意力网络的多模态人格预测方法和系统,涉及情感计算技术领域,包括:基于卷积神经网络模型,提取目标视频中的场景时空外观特征、人脸时空外观特征和音频特征;基于图注意力网络模型,提取目标视频中的人脸时空几何结构特征;基于预训练语言模型,提取目标视频的文本特征;将场景时空外观特征、人脸时空外观特征、人脸时空几何结构特征、音频特征和文本特征进行特征融合,得到多模态融合特征;基于多模态融合特征和训练好的人格预测模型,对被试者进行人格预测,得到被试者的人格特质分数。本发明缓解了现有技术中存在的对人脸的特征为挖掘不细致、模态间权重分配不合理的技术问题。
-
公开(公告)号:CN118115994A
公开(公告)日:2024-05-31
申请号:CN202410314925.7
申请日:2024-03-19
Applicant: 北京科技大学
Abstract: 本发明涉及点云数据标注技术领域,特别是指一种基于场景重建的三维点云标注方法与系统,方法包括:用户端将预先采集的道路场景图像数据输入三维场景重建平台中,对道路场景图像数据进行处理,获得道路场景的三维重建场景图像;将点云数据输入点云语义分割平台,获得语义分割预标注结果;将点云数据输入3D边界框标注平台,获得3D边界框预标注结果;用户端根据三维重建场景图像,对预标注结果进行人工修正,获得语义分割标注结果以及3D边界框标注结果;将语义分割标注结果与3D边界框标注结果取交集,获得实例标签。采用本发明,可节省人工标注时间,提高标注质量。
-
公开(公告)号:CN117694845A
公开(公告)日:2024-03-15
申请号:CN202410168344.7
申请日:2024-02-06
Applicant: 北京科技大学
IPC: A61B5/02 , A61B5/00 , G06F18/10 , G06F18/213 , G06F18/25 , G06V20/40 , G06V10/80 , G16H10/60 , G16H50/70
Abstract: 本发明涉及生理信号检测领域,特别是指一种基于融合特征增强的非接触式生理信号检测方法及装置,方法包括:获取待检测脉搏波的视频数据,对视频数据进行预处理,得到预处理后的视频数据;将预处理后的视频数据输入到非接触式生理信号检测模型,得到脉搏波信号;其中,非接触式生理信号检测模型包括:融合主干模块、时差变换器模块以及预测器模块;根据脉搏波信号对心率、心率变异性等生理信号进行计算,得到非接触式生理信号检测结果。本发明通过将差分帧融合到原始帧中,使帧级表示能够感知BVP波变化,有效增强rPPG表示,进而引导变换器的自注意力机制,加强其对rPPG特征的关注。
-
公开(公告)号:CN117636241A
公开(公告)日:2024-03-01
申请号:CN202311537940.X
申请日:2023-11-17
Applicant: 北京科技大学
Abstract: 本发明涉及目标检测跟踪技术领域,特别是指一种基于决策级融合的低光照场景多模态行人检测跟踪方法及装置。一种基于决策级融合的低光照场景多模态行人检测跟踪方法包括:使用红外图像以及可见光图像,对目标检测模型进行训练,获得红外检测模型以及可见光检测模型;基于红外检测模型、可见光检测模型以及决策级融合算法进行模型构建,获得决策级融合检测模型;将待检测红外图像以及待检测可见光图像输入决策级融合检测模型,获得融合检测结果;将融合检测结果输入多目标跟踪算法,获得多目标跟踪结果;根据多目标跟踪结果进行可视化处理,获得跟踪视频序列。本发明是一种基于决策级融合的高效、实时的低光照多模态行人检测跟踪方法。
-
公开(公告)号:CN117630683A
公开(公告)日:2024-03-01
申请号:CN202410106018.3
申请日:2024-01-25
Applicant: 北京科技大学
IPC: G01R31/367 , G01R31/387 , B60L3/12 , B60L58/12 , G06F18/241 , G06N3/0442 , G06F18/214 , G06F18/25
Abstract: 本发明公开了基于多尺度融合GRU网络的汽车电池SOC多步预测方法与系统,方法包括:S1、将每种传感器检测项视为一个变量,采集实车传感器的综合数据,将其转换为标准正态分布;选择与SOC高度相关的变量构建滑动窗口;将滑动窗口80%的数据作为训练集,20%数据作为验证集;S2、将基于多尺度融合GRU网络模型参数初始化,同时设定若干关键的超参数,对训练集执行离线训练生成SOC多步预测结果;本发明采用上述基于多尺度融合GRU网络的汽车电池SOC多步预测方法与系统,能更好地在历史数据中捕获短期和长期的依赖,从而更准确地预测电池在多样化和不稳定环境中的行为,在真实世界应用中实现更高的准确度和可靠性。
-
-
-
-
-
-
-
-
-