视听场景下的听觉注意解码方法、装置和助听系统

    公开(公告)号:CN117992909A

    公开(公告)日:2024-05-07

    申请号:CN202410124705.8

    申请日:2024-01-29

    Applicant: 安徽大学

    Abstract: 本申请涉及一种视听场景下的听觉注意解码方法、装置和助听系统,其中,该目标说话者定位方法包括;实时获取听者的脑电信号和视野图像;其中,所述脑电信号通过佩戴于听者头部的脑电信号采集设备采集得到,所述视野图像通过与听者头部同步运动的图像采集设备采集得到;将所述脑电信号和所述视野图像输入基于机器学习的听觉注意解码模型,通过所述听觉注意解码模型得到目标说话者的空间方位。本发明充分考虑了实际场景中可用于定位目标说话者的信息,进而能够更加准确地锁定目标说话者的空间方位,改进了现有的听觉注意解码算法,可以更加充分地注意目标说话者的声音,解决了目前的听觉注意解码算法对目标声源的定位准确性较低的问题。

    基于双重注意力精炼网络的听觉注意解码方法和装置

    公开(公告)号:CN118567487B

    公开(公告)日:2024-09-24

    申请号:CN202411035097.X

    申请日:2024-07-31

    Applicant: 安徽大学

    Abstract: 本申请涉及一种基于双重注意力精炼网络的听觉注意解码方法和装置,听觉注意解码方法包括:获取脑电信号序列数据,通过滑动窗口对脑电信号序列数据进行截取,得到多个脑电信号窗口数据;通过时空特征提取网络对脑电信号窗口数据进行特征提取,生成低密度时空特征;通过第一注意力精炼网络对低密度时空特征进行精炼处理,生成浅层高密度时空特征,通过第二注意力精炼网络浅层高密度时空特征进行处理,生成深层高密度时空特征;根据浅层高密度时空特征和深层高密度时空特征,生成听觉注意表示;根据听觉注意表示,生成脑电信号序列数据的听觉注意解码结果。本申请可以提高听觉注意解码准确度,解决了目前的听觉注意解码方法存在听觉注意解码准确度低的问题。

    基于双重注意力精炼网络的听觉注意解码方法和装置

    公开(公告)号:CN118567487A

    公开(公告)日:2024-08-30

    申请号:CN202411035097.X

    申请日:2024-07-31

    Applicant: 安徽大学

    Abstract: 本申请涉及一种基于双重注意力精炼网络的听觉注意解码方法和装置,听觉注意解码方法包括:获取脑电信号序列数据,通过滑动窗口对脑电信号序列数据进行截取,得到多个脑电信号窗口数据;通过时空特征提取网络对脑电信号窗口数据进行特征提取,生成低密度时空特征;通过第一注意力精炼网络对低密度时空特征进行精炼处理,生成浅层高密度时空特征,通过第二注意力精炼网络浅层高密度时空特征进行处理,生成深层高密度时空特征;根据浅层高密度时空特征和深层高密度时空特征,生成听觉注意表示;根据听觉注意表示,生成脑电信号序列数据的听觉注意解码结果。本申请可以提高听觉注意解码准确度,解决了目前的听觉注意解码方法存在听觉注意解码准确度低的问题。

    一种基于时频域融合的听觉注意检测方法及其系统

    公开(公告)号:CN118121192B

    公开(公告)日:2024-09-13

    申请号:CN202410155072.7

    申请日:2024-02-02

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于时频域融合的听觉注意检测方法和系统。首先根据不同的决策窗口长度将脑电信号划分成多个与之对应的滑动窗口,再分别通过空域特征提取模块和多频带微分熵模块提取后将其对应结果分别输入到两个并行模块:时间注意力模块和频率残差模块。其中,本发明通过时间注意力模块提取时域特征,通过频率残差模块提取频域特征,最后通过特征融合和分类器模块将时频域特征融合并以此得到听觉注意检测的结果。经过实验证明,本发明得到的预测结果与现有方法相比更加准确,提高了听觉注意检测的精度。

    基于多尺度语音-脑电融合的脑控说话人提取方法及系统

    公开(公告)号:CN118197346B

    公开(公告)日:2024-11-15

    申请号:CN202410155031.8

    申请日:2024-02-02

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于多尺度语音‑脑电融合的脑控说话人提取方法及系统。该方法包括:S1、语音编码器将原始混合语音样本转化为具有不同时间分辨率的语音特征;S2、脑电编码器将多通道的脑电信号编码到低维的特征表达,并利用图卷积网络提取脑电数据;S3、在说话人提取网络模块中分别融合多尺度语音和脑电的双模态特征,使用基于掩蔽的方法过滤掉干扰说话人;S4、语音解码器模块将掩蔽后的语音特征转化为原始的时域目标语音波形。本方法利用听者所记录的脑电信号来指导提取目标语音,使说话人提取方法具有根据个人主观意识有效分离目标说话人的能力,并将多尺度的语音特征和脑电特征分别进行融合,提高了语音的感知质量和可懂度。

    视听场景下的听觉注意解码方法、装置和助听系统

    公开(公告)号:CN117992909B

    公开(公告)日:2024-07-05

    申请号:CN202410124705.8

    申请日:2024-01-29

    Applicant: 安徽大学

    Abstract: 本申请涉及一种视听场景下的听觉注意解码方法、装置和助听系统,其中,该目标说话者定位方法包括;实时获取听者的脑电信号和视野图像;其中,所述脑电信号通过佩戴于听者头部的脑电信号采集设备采集得到,所述视野图像通过与听者头部同步运动的图像采集设备采集得到;将所述脑电信号和所述视野图像输入基于机器学习的听觉注意解码模型,通过所述听觉注意解码模型得到目标说话者的空间方位。本发明充分考虑了实际场景中可用于定位目标说话者的信息,进而能够更加准确地锁定目标说话者的空间方位,改进了现有的听觉注意解码算法,可以更加充分地注意目标说话者的声音,解决了目前的听觉注意解码算法对目标声源的定位准确性较低的问题。

    一种基于时频域融合的听觉注意检测方法及其系统

    公开(公告)号:CN118121192A

    公开(公告)日:2024-06-04

    申请号:CN202410155072.7

    申请日:2024-02-02

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于时频域融合的听觉注意检测方法和系统。首先根据不同的决策窗口长度将脑电信号划分成多个与之对应的滑动窗口,再分别通过空域特征提取模块和多频带微分熵模块提取后将其对应结果分别输入到两个并行模块:时间注意力模块和频率残差模块。其中,本发明通过时间注意力模块提取时域特征,通过频率残差模块提取频域特征,最后通过特征融合和分类器模块将时频域特征融合并以此得到听觉注意检测的结果。经过实验证明,本发明得到的预测结果与现有方法相比更加准确,提高了听觉注意检测的精度。

    基于多尺度语音-脑电融合的脑控说话人提取方法及系统

    公开(公告)号:CN118197346A

    公开(公告)日:2024-06-14

    申请号:CN202410155031.8

    申请日:2024-02-02

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于多尺度语音‑脑电融合的脑控说话人提取方法及系统。该方法包括:S1、语音编码器将原始混合语音样本转化为具有不同时间分辨率的语音特征;S2、脑电编码器将多通道的脑电信号编码到低维的特征表达,并利用图卷积网络提取脑电数据;S3、在说话人提取网络模块中分别融合多尺度语音和脑电的双模态特征,使用基于掩蔽的方法过滤掉干扰说话人;S4、语音解码器模块将掩蔽后的语音特征转化为原始的时域目标语音波形。本方法利用听者所记录的脑电信号来指导提取目标语音,使说话人提取方法具有根据个人主观意识有效分离目标说话人的能力,并将多尺度的语音特征和脑电特征分别进行融合,提高了语音的感知质量和可懂度。

Patent Agency Ranking