-
公开(公告)号:CN118800218B
公开(公告)日:2024-12-03
申请号:CN202411280779.7
申请日:2024-09-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种基于模态自适应掩码融合网络(MAMF‑Net)的多模态情感识别方法,包括:利用文本编码模型将文本转换为词向量,并通过自注意力机制提取语义结构特征。提取音频上下文特征,并从梅尔频谱图中提取时间依赖特征。通过音频引导式文本编码器融合音频和文本特征,同时采用自掩码机制对迁移信息进行遮挡,捕获模态间的互补信息。使用多头注意力机制综合处理融合后的特征,并通过线性映射层转换为情感类别的概率分布,根据概率分布确定并输出最终的情感分类。本方法通过高效整合模态间信息,在情感识别任务中展现了显著的性能提升,具有广泛的应用潜力。
-
公开(公告)号:CN118425061B
公开(公告)日:2024-11-05
申请号:CN202410885935.6
申请日:2024-07-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种高光谱病理扫描仪装置,包括高光谱相机,该高光谱相机包括:光学微腔阵列,对入射光场进行空间‑光谱编码,形成压缩的高光谱图像;传感器,与光学微腔阵列耦合,用于捕获压缩的高光谱图像;处理器,被配置以通过图像重建算法重建原始的高光谱图像数据立方体;所述光学微腔阵列由具有不同光谱透过率的多种微腔单元随机排列组成,每个微腔单元由高折射率材料和低折射率材料周期性叠层构成,并且各微腔中间的空腔层具有差异化的厚度以实现不同的光谱透过率。这种设计在保证了光谱成像具有较高分辨率和准确性的同时简化了光学系统,减少了传统高光谱成像所需的复杂和庞大的光学元件,减小系统体积,实现了紧凑型高光谱病理扫描仪装置。
-
公开(公告)号:CN118800218A
公开(公告)日:2024-10-18
申请号:CN202411280779.7
申请日:2024-09-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种基于模态自适应掩码融合网络(MAMF‑Net)的多模态情感识别方法,包括:利用文本编码模型将文本转换为词向量,并通过自注意力机制提取语义结构特征。提取音频上下文特征,并从梅尔频谱图中提取时间依赖特征。通过音频引导式文本编码器融合音频和文本特征,同时采用自掩码机制对迁移信息进行遮挡,捕获模态间的互补信息。使用多头注意力机制综合处理融合后的特征,并通过线性映射层转换为情感类别的概率分布,根据概率分布确定并输出最终的情感分类。本方法通过高效整合模态间信息,在情感识别任务中展现了显著的性能提升,具有广泛的应用潜力。
-
公开(公告)号:CN118800282A
公开(公告)日:2024-10-18
申请号:CN202411273679.1
申请日:2024-09-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种自适应多频段语音混合情感感知方法,输入语音信号经过预处理分帧,利用快速傅里叶变换获取频谱特征,信号通过梅尔尺度的三角滤波器组处理,模拟人类听觉系统的非线性频率特性,并通过离散余弦变换提取关键频率信息的梅尔频谱系数。根据语音共振峰F1、F2、F3进行频段划分,定制化特征提取策略。自适应深度残差块并行处理各频段特征,深度控制器动态调整网络深度以适应信号复杂度。ADRB中,多层蒸馏和残差通道实现多级特征提取,残差连接优化特征融合。混合区域注意力机制结合全局和局部注意力,强化频段间依赖关系。时间驱动模块加强时序连续性,最终特征融合用于情感分类和识别。该方法全面捕捉情感特征,显著提升情感状态识别的精度和效率。
-
公开(公告)号:CN118425061A
公开(公告)日:2024-08-02
申请号:CN202410885935.6
申请日:2024-07-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种高光谱病理扫描仪装置,包括高光谱相机,该高光谱相机包括:光学微腔阵列,对入射光场进行空间‑光谱编码,形成压缩的高光谱图像;传感器,与光学微腔阵列耦合,用于捕获压缩的高光谱图像;处理器,被配置以通过图像重建算法重建原始的高光谱图像数据立方体;所述光学微腔阵列由具有不同光谱透过率的多种微腔单元随机排列组成,每个微腔单元由高折射率材料和低折射率材料周期性叠层构成,并且各微腔中间的空腔层具有差异化的厚度以实现不同的光谱透过率。这种设计在保证了光谱成像具有较高分辨率和准确性的同时简化了光学系统,减少了传统高光谱成像所需的复杂和庞大的光学元件,减小系统体积,实现了紧凑型高光谱病理扫描仪装置。
-
公开(公告)号:CN118800282B
公开(公告)日:2024-11-29
申请号:CN202411273679.1
申请日:2024-09-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 一种自适应多频段语音混合情感感知方法,输入语音信号经过预处理分帧,利用快速傅里叶变换获取频谱特征,信号通过梅尔尺度的三角滤波器组处理,模拟人类听觉系统的非线性频率特性,并通过离散余弦变换提取关键频率信息的梅尔频谱系数。根据语音共振峰F1、F2、F3进行频段划分,定制化特征提取策略。自适应深度残差块并行处理各频段特征,深度控制器动态调整网络深度以适应信号复杂度。ADRB中,多层蒸馏和残差通道实现多级特征提取,残差连接优化特征融合。混合区域注意力机制结合全局和局部注意力,强化频段间依赖关系。时间驱动模块加强时序连续性,最终特征融合用于情感分类和识别。该方法全面捕捉情感特征,显著提升情感状态识别的精度和效率。
-
公开(公告)号:CN113221941B
公开(公告)日:2024-01-09
申请号:CN202110300345.9
申请日:2021-03-22
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F18/2413 , G06F18/27 , G06F18/214
Abstract: 本发明提供了一种自适应对称图信息传播的鉴别回归分类方法,模型训练步骤包括:步骤1:采用范数归一化对训练数据进行预处理;步骤2:通过交替迭代优化得到回归分类模型的投影矩阵;测试数据分类步骤包括:步骤一:采用范数归一化策略对测试数据和训练数据进行预处理;步骤二:依据训练数据训练得到的投影矩阵,将训练数据集和测试数据投影到目标子空间;步骤三:计算投影后的测试数据与训练数据的欧式距离,然后依据该欧式距离得到测试数据的分类结果。本发明的有益效果:本发明引入自适应鉴别标签学习技术,根据数据给定的不灵活的标签信息自适应得到更灵活、更具鉴别力的标签矩阵,同时在自适应相似图挖掘和图信息扩散保持约束下,得到更具鉴别力的分类投影矩阵,进而获得更高的分类精度。
-
公开(公告)号:CN112926675B
公开(公告)日:2023-08-18
申请号:CN202110300226.3
申请日:2021-03-22
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F18/2431 , G06F18/25 , G06F18/214 , G06F18/21 , G06N3/0455 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明提供了一种视角和标签双重缺失下的深度不完整多视角多标签分类方法,包括网络模型训练步骤和测试样本标签预测步骤。本发明的有益效果是:本发明不仅适用于任何不完整/完整多视角多标签分类情形;而且同样适用于半监督分类和全监督分类情形。本发明具有很高的实时性,能够实时在线处理完整/不完整多视角多标签数据的分类任务。
-
公开(公告)号:CN116188613A
公开(公告)日:2023-05-30
申请号:CN202310173088.6
申请日:2023-02-28
Applicant: 哈尔滨工业大学(深圳)
IPC: G06T11/00 , G06T7/10 , G06T3/40 , G06N3/0475 , G06N3/094
Abstract: 本发明涉及一种基于生成对抗网络的IHC图像生成方法及系统,涉及计算机图像处理技术领域,方法包括获取检测者目标部位切片的冰冻H&E图像;对冰冻H&E图像进行切分,得到若干个冰冻H&E子图像,将若干个冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器,得到每一冰冻H&E子图像对应的石蜡H&E子图像;将每一石蜡H&E子图像分别输入至训练好的IHC图像生成器,得到每一石蜡H&E子图像对应的IHC子图像;将所有IHC子图像进行拼接,得到IHC图像。本发明采用石蜡H&E图像生成器将冰冻H&E图像生成石蜡H&E图像,然后通过IHC图像生成器将石蜡H&E图像生成IHC图像,减少了生成IHC图像的时间。
-
公开(公告)号:CN116091305A
公开(公告)日:2023-05-09
申请号:CN202310172920.0
申请日:2023-02-28
Applicant: 哈尔滨工业大学(深圳)
IPC: G06T3/00 , G06T7/10 , G06T3/40 , G06N3/0475 , G06N3/094
Abstract: 本发明公开一种基于生成对抗网络的病理组织多域虚拟染色方法及系统,包括:获取组织病理切片图像并进行分割,得到多个分块图像和分块坐标;将每一分块图像和对应的目标染色风格标签输入到生成对抗网络的生成器中,输出分块染色图像;生成器包括下采样模块、多个串联连接的GramLIN模块和上采样模块;GramLIN模块中包括风格编码字典,所述风格编码字典中存储有多种目标染色风格信息;将所有分块染色图像按照分块坐标进行拼接,得到具有目标染色风格的组织病理切片图像。在生成器中引入了多个串联的GramLIN模块,GramLIN模块引入了风格编码字典,能够使用单一网络在多种染色之间实现染色迁移。
-
-
-
-
-
-
-
-
-