公开(公告)号：CN119495115A

公开(公告)日：2025-02-21

申请号：CN202311023919.8

申请日：2023-08-15

Applicant: 复旦大学

Inventor： 张立华 ,  钟楚轶 ,  杨鼎康

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测方法，包括以下步骤：构建数据集，并添加身体状况标签；对数据集中的人物进行表情分析，添加面部表情标签；对数据集进行数据增广；构建检测模型，以身体状况图像作为输入，身体状况标签、面部表情标签作为输出，检测模型包括用于提取整体身体姿态特征和局部面部表情特征双流卷积神经网络模块和对提取到的特征进行自适应权重融合的自适应权重特征融合模块；获取待检测图像并输入训练完成的检测模型，输出预测的身体状况标签、面部表情标签及其对应概率，实现身体异常状况发作检测。与现有技术相比，本发明具有检测精度高、不受限于应用场景等优点。

公开(公告)号：CN119538168A

公开(公告)日：2025-02-28

申请号：CN202311111253.1

申请日：2023-08-30

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  李明程 ,  邝昊鹏 ,  王顺利 ,  钟楚轶 ,  雷雨萱

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/2431 ,  G06F18/2415 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种基于脑认知启发的多模态人类意图理解系统，包括多模态信息采集单元、互交叉注意力强化单元、自交叉注意力强化单元、源模态更新单元、自适应多模态信息融合单元、连续维度的情感意图理解单元，以及细粒度的行为意图理解单元。与现有技术相比，本发明充分融合来自语言、音频以及视频模态的有效特征语义，利用不同强化和更新单元中的注意力机制实现了高效的多模态建模，进一步完成了多任务模式下的人类情感和行为意图理解，有效的解决了真实应用场景下人类意图理解准确率低，多模态利用率不足以及系统鲁棒性差等问题。

公开(公告)号：CN115272977A

公开(公告)日：2022-11-01

申请号：CN202210948571.2

申请日：2022-08-09

Applicant: 复旦大学

Inventor： 张立华 ,  钟楚轶 ,  王顺利 ,  杨鼎康 ,  黄帅

IPC: G06V20/52 ,  G06V20/70 ,  G06V40/20 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于卷积神经网络和迁移学习的心脏病发作检测系统，输入由图像获取装置获取的视觉图像或视频帧，对图片进行统一尺寸、背景去除以及数据增广等预处理，使其构成数量大、精度高的图片数据集，并采用该数据集在卷积神经网络模型上进行训练，训练过程中应用迁移学习的方法提升训练效率以及效果。训练好的模型可以对后续的输入图片进行检测，迅速精准地输出心脏病发作或无异常的标签，并在输出心脏病发作的异常标签时，利用通讯设备向预设的紧急联系人发送预警或呼叫医疗急救电话。与现有技术相比，本发明具有无应用场景限制、快速高效和使用便捷等优点。