-
公开(公告)号：CN118800218B
公开(公告)日：2024-12-03
申请号：CN202411280779.7
申请日：2024-09-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种基于模态自适应掩码融合网络（MAMF‑Net）的多模态情感识别方法，包括：利用文本编码模型将文本转换为词向量，并通过自注意力机制提取语义结构特征。提取音频上下文特征，并从梅尔频谱图中提取时间依赖特征。通过音频引导式文本编码器融合音频和文本特征，同时采用自掩码机制对迁移信息进行遮挡，捕获模态间的互补信息。使用多头注意力机制综合处理融合后的特征，并通过线性映射层转换为情感类别的概率分布，根据概率分布确定并输出最终的情感分类。本方法通过高效整合模态间信息，在情感识别任务中展现了显著的性能提升，具有广泛的应用潜力。
-
Patent Agency Ranking
公开(公告)号：CN118425061B
公开(公告)日：2024-11-05
申请号：CN202410885935.6
申请日：2024-07-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种高光谱病理扫描仪装置，包括高光谱相机，该高光谱相机包括：光学微腔阵列，对入射光场进行空间‑光谱编码，形成压缩的高光谱图像；传感器，与光学微腔阵列耦合，用于捕获压缩的高光谱图像；处理器，被配置以通过图像重建算法重建原始的高光谱图像数据立方体；所述光学微腔阵列由具有不同光谱透过率的多种微腔单元随机排列组成，每个微腔单元由高折射率材料和低折射率材料周期性叠层构成，并且各微腔中间的空腔层具有差异化的厚度以实现不同的光谱透过率。这种设计在保证了光谱成像具有较高分辨率和准确性的同时简化了光学系统，减少了传统高光谱成像所需的复杂和庞大的光学元件，减小系统体积，实现了紧凑型高光谱病理扫描仪装置。
-
公开(公告)号：CN118800218A
公开(公告)日：2024-10-18
申请号：CN202411280779.7
申请日：2024-09-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种基于模态自适应掩码融合网络（MAMF‑Net）的多模态情感识别方法，包括：利用文本编码模型将文本转换为词向量，并通过自注意力机制提取语义结构特征。提取音频上下文特征，并从梅尔频谱图中提取时间依赖特征。通过音频引导式文本编码器融合音频和文本特征，同时采用自掩码机制对迁移信息进行遮挡，捕获模态间的互补信息。使用多头注意力机制综合处理融合后的特征，并通过线性映射层转换为情感类别的概率分布，根据概率分布确定并输出最终的情感分类。本方法通过高效整合模态间信息，在情感识别任务中展现了显著的性能提升，具有广泛的应用潜力。
-
公开(公告)号：CN118800282A
公开(公告)日：2024-10-18
申请号：CN202411273679.1
申请日：2024-09-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种自适应多频段语音混合情感感知方法，输入语音信号经过预处理分帧，利用快速傅里叶变换获取频谱特征，信号通过梅尔尺度的三角滤波器组处理，模拟人类听觉系统的非线性频率特性，并通过离散余弦变换提取关键频率信息的梅尔频谱系数。根据语音共振峰F1、F2、F3进行频段划分，定制化特征提取策略。自适应深度残差块并行处理各频段特征，深度控制器动态调整网络深度以适应信号复杂度。ADRB中，多层蒸馏和残差通道实现多级特征提取，残差连接优化特征融合。混合区域注意力机制结合全局和局部注意力，强化频段间依赖关系。时间驱动模块加强时序连续性，最终特征融合用于情感分类和识别。该方法全面捕捉情感特征，显著提升情感状态识别的精度和效率。
-
公开(公告)号：CN118425061A
公开(公告)日：2024-08-02
申请号：CN202410885935.6
申请日：2024-07-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种高光谱病理扫描仪装置，包括高光谱相机，该高光谱相机包括：光学微腔阵列，对入射光场进行空间‑光谱编码，形成压缩的高光谱图像；传感器，与光学微腔阵列耦合，用于捕获压缩的高光谱图像；处理器，被配置以通过图像重建算法重建原始的高光谱图像数据立方体；所述光学微腔阵列由具有不同光谱透过率的多种微腔单元随机排列组成，每个微腔单元由高折射率材料和低折射率材料周期性叠层构成，并且各微腔中间的空腔层具有差异化的厚度以实现不同的光谱透过率。这种设计在保证了光谱成像具有较高分辨率和准确性的同时简化了光学系统，减少了传统高光谱成像所需的复杂和庞大的光学元件，减小系统体积，实现了紧凑型高光谱病理扫描仪装置。
-
公开(公告)号：CN118800282B
公开(公告)日：2024-11-29
申请号：CN202411273679.1
申请日：2024-09-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种自适应多频段语音混合情感感知方法，输入语音信号经过预处理分帧，利用快速傅里叶变换获取频谱特征，信号通过梅尔尺度的三角滤波器组处理，模拟人类听觉系统的非线性频率特性，并通过离散余弦变换提取关键频率信息的梅尔频谱系数。根据语音共振峰F1、F2、F3进行频段划分，定制化特征提取策略。自适应深度残差块并行处理各频段特征，深度控制器动态调整网络深度以适应信号复杂度。ADRB中，多层蒸馏和残差通道实现多级特征提取，残差连接优化特征融合。混合区域注意力机制结合全局和局部注意力，强化频段间依赖关系。时间驱动模块加强时序连续性，最终特征融合用于情感分类和识别。该方法全面捕捉情感特征，显著提升情感状态识别的精度和效率。
-
-
-
-
-
Search Results
6
records
(took 0.041 seconds)
