公开(公告)号：CN119150216A

公开(公告)日：2024-12-17

申请号：CN202410949698.5

申请日：2024-07-16

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  苏继绮 ,  王静 ,  李平安 ,  叶蕾

IPC: G06F18/25 ,  G06F18/21 ,  G06F18/241 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法，步骤包括：首先，对语音和文本进行编码提取深度特征，然后基于本发明提出的基于Transformer的模态内感知模块，捕获各个模态内部的长距离依赖关系，实现情感特征的局部感知学习，降低深度特征中的冗余信息；其次，为了融合未对齐的多模态序列信息，充分利用不同模态信息的互补性，本发明提出基于Transformer的模态间交互融合模块来捕捉不同模态间信息依赖关系，获得融合后的多模态全局信息；最后，进行了消融实验，验证了该方法的有效性。本发明实现了对多模态情感识别的有效并行计算，进一步提高多模态情感识别系统的识别性能和泛化能力。

公开(公告)号：CN216645591U

公开(公告)日：2022-05-31

申请号：CN202220167856.8

申请日：2022-01-21

Applicant: 南京邮电大学

Inventor： 赵祝清 ,  苏继绮 ,  王嘉丽 ,  袁明

IPC: G01H17/00 ,  H02N1/04

Abstract: 本实用新型提供一种实现自供能的声学感知器件，包括传输聚集装置和声摩擦电装置，所述传输聚集装置为一个号角形声学管路，整体是一个正圆台形声腔，其上下两个端口呈圆环形，四周是硬壳，声信号从大端口进入，经过号角内部广泛地汇聚在小端口处，所述声摩擦电装置设置在所述小端口处，所述声摩擦电装置包括依次粘贴设置的FEP膜，环形垫片，铝箔和底座，入射声波经声号角聚拢收集，传达至声摩擦电装置，带动声摩擦电装置中的FEP膜振动，使得负电性材料FEP膜与铝箔实现接触分离，进而完成由声能到电能的转换得到较大的输出电功率，本实用新型基于摩擦生电原理，制成了自供能的声学感知器件，具有易于成型、可将收集到的声信号转化为电信号的特点。

公开(公告)号：CN217228858U

公开(公告)日：2022-08-19

申请号：CN202220984527.2

申请日：2022-04-26

Applicant: 南京邮电大学

Inventor： 赵祝清 ,  苏继绮 ,  王嘉丽 ,  姚卫阳 ,  袁明

IPC: B65F1/14 ,  B65F1/00 ,  B65F1/06 ,  B65F1/16

Abstract: 本实用新型公开了一种自驱动传感的语音识别垃圾桶，包括圆柱形的桶体、旋转盖、语音收集装置和控制器，旋转盖通过桶体上的步进电机带动转动，语音收集装置、步进电机均与控制器电连接，桶体内通过隔板等分为一个空腔为控制腔和四个放置腔，在控制腔的检修门上设置有带有声摩擦纳米发电机的语音收集装置，在检修门上开设有供语音收集装置的声能采集器进行声音采集的口，在控制腔顶部设置有封盖，旋转盖的投放口的原始位置与封盖位置对应。本实用新型采用了为自供能的声学感知器件的语音收集装置，无需外部供电就可实现对声能的能量转换，有效提高了垃圾桶的灵敏度，使用更方便。