公开(公告)号：CN118656779A

公开(公告)日：2024-09-17

申请号：CN202410708534.3

申请日：2024-06-03

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  莫凯麟 ,  洪晨益 ,  陈承瑞 ,  马龙杰 ,  何秉峰 ,  张建海 ,  杨子玥

IPC: G06F18/25 ,  A61B5/378 ,  A61B5/00 ,  A61B3/113 ,  G06F18/213 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0895

Abstract: 本发明公开了一种基于注意力机制的双模态双向融合网络目标检测方法。该方法首先针对双模态数据分布进行特征提取以及样本对间的对比学习，然后在两个模态的特征层面采用一种相互指导的双向模态融合方法，运用注意力机制进行模态间的特征对齐融合，使脑电信号和眼动信号各自寻找对方与自身特征相耦合的特征，力求最大限度地保留模态内部的本质特征和挖掘模态间相关联的特征。最后使用融合后的特征进行分类预测。这种方法解决了两个模态由于时段不一致带来的不良影响，同时利用解耦对比学习方法消除类不平衡的影响，并捕获各个模态内部类别之间的特征差异，从而提高模型的目标检测性能。

公开(公告)号：CN118470300A

公开(公告)日：2024-08-09

申请号：CN202410568120.5

申请日：2024-05-09

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  马龙杰 ,  洪晨益 ,  陈承瑞 ,  莫凯麟 ,  何秉峰 ,  张建海

IPC: G06V10/25 ,  G06V20/40 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82 ,  G06V10/771 ,  G06T7/246 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于脑眼融合的多模态视频流目标检测方法。该方法采集被试观看步复杂视频内容时的脑电数据与眼动数据，制作脑电正负样本对、眼动正负样本对，以及在通道维度拼接的脑电—眼动拼接样本。然后将正负样本对输入特征提取模型中，进行对比学习，训练模型参数。再将脑电样本、眼动样本以及拼接样本输入分类器中进行学习。最后将未知样本输入训练好的分类器中，并将预测为目标的对应样本眼动数据取出，根据注视点和注视时间绘制注视区域，生成热点图，获得目标的运动轨迹，实现目标检测。该方法利用多模态信息搜索同类别相似信息，实现了信息的互补，在较高的识别率下揭示了目标的移动轨迹，提高了识别的可靠性。