公开(公告)号：CN118430817B

公开(公告)日：2024-09-24

申请号：CN202410882153.7

申请日：2024-07-03

Applicant: 华中科技大学同济医学院附属协和医院

Inventor： 蔡开琳 ,  毛富巍 ,  桂宇晖 ,  曹英豪 ,  陈心然 ,  薛一凡 ,  范李雪 ,  蔡文泰 ,  黄宁

IPC: G16H40/67 ,  G16H50/30 ,  G16H10/60 ,  G16H30/20 ,  G06N3/008 ,  G06N5/04 ,  G06F18/241 ,  G06F18/25 ,  G06F18/27 ,  G06V20/40 ,  G06V40/70 ,  G10L25/57 ,  B25J11/00 ,  B25J19/02 ,  A61B5/00

Abstract: 本发明公开了一种基于多模态通道融合的重症监护系统，属于重症监护领域，其中，多模态通道融合感知平台，用于持续监测患者的生命体征数据和视频数据；控制平台包括多个沟通机器人，其上搭载有第二摄像头、交互设备和控制器，用于持续记录患者的视频数据并捕获患者的输入信息，推断患者的意图，以及向患者反馈推断结果；分析决策平台用于接收多模态通道融合感知平台和控制平台上传的信息，据此判断当前的任务场景并选取目标模态通道，对患者的生命体征进行监护并推断患者的意图，检测到患者有沟通意图时，控制沟通机器人移动至床旁进行双向床旁沟通。本发明能够主动识别患者的沟通需求并及时作出相应的反应，提高重症监护的有效性和全面性。

公开(公告)号：CN118430817A

公开(公告)日：2024-08-02

申请号：CN202410882153.7

申请日：2024-07-03

Applicant: 华中科技大学同济医学院附属协和医院

Inventor： 蔡开琳 ,  毛富巍 ,  桂宇晖 ,  曹英豪 ,  陈心然 ,  薛一凡 ,  范李雪 ,  蔡文泰 ,  黄宁

IPC: G16H50/30 ,  G16H50/50 ,  G16H40/60 ,  G06F18/25

Abstract: 本发明公开了一种基于多模态通道融合的重症监护系统，属于重症监护领域，其中，多模态通道融合感知平台，用于持续监测患者的生命体征数据和视频数据；控制平台包括多个沟通机器人，其上搭载有第二摄像头、交互设备和控制器，用于持续记录患者的视频数据并捕获患者的输入信息，推断患者的意图，以及向患者反馈推断结果；分析决策平台用于接收多模态通道融合感知平台和控制平台上传的信息，据此判断当前的任务场景并选取目标模态通道，对患者的生命体征进行监护并推断患者的意图，检测到患者有沟通意图时，控制沟通机器人移动至床旁进行双向床旁沟通。本发明能够主动识别患者的沟通需求并及时作出相应的反应，提高重症监护的有效性和全面性。

公开(公告)号：CN308630546S

公开(公告)日：2024-05-10

申请号：CN202330837825.9

申请日：2023-12-20

Applicant: 华中科技大学同济医学院附属协和医院

Designer： 蔡开琳 ,  桂宇晖 ,  陈心然 ,  毛富巍

Abstract: 1.本外观设计产品的名称：带呼吸音标注与智能管理系统图形用户界面的显示屏幕面板。
2.本外观设计产品的用途：用于电视、电脑。
用于对呼吸音的音频信息标注、音频文件管理、分配标注文件、审核标注信息、查看标注信息、查看呼吸音类型、录入数据的统计分析和可视化呈现。
3.本外观设计产品的设计要点：在于屏幕中的图形用户界面元素布局、图案和交互方式。
4.最能表明设计要点的图片或照片：界面变化状态图4。
5.为常规设计，省略左视图；为常规设计，省略右视图；为常规设计，省略俯视图；为常规设计，省略仰视图。
6.图形用户界面的用途：主视图是用户进入平台后展现的初始界面，主要提供用户登陆功能。
用户注册成功后，可根据认证的身份，以标注员或管理员的身份登录。
以标注员身份登录后，首先进入呼吸音标注界面，进入界面变化状态图1界面，界面左侧的音频文件菜单栏显示需要进行标注的呼吸音文件，选择其中一个音频文件，右侧音频编辑栏处将以音波的可视化形式展示此段音频信息。
用户点击左侧标签栏“+”按钮后，界面中心出现添加标签的模态弹窗，进入界面变化状态图2界面，此处提供添加自定义标签的功能。
用户通过点击右侧音频编辑栏内的“开始/播放”、“前进”、“后退”等音频播放功能按钮，结合“标注开始”、“标注结束”按钮，来选择标注段落的区间，进入界面变化状态图3界面，此处提供音频标注段落区间的播放、选择设定功能。
当用户选择设定了一个音频标注段落区间后，此段音频的可视化音波处将被蓝色色块覆盖，色块中间显示“+”按钮，点击“+”按钮后出现选择标签类型的菜单栏，进入界面变化状态图4界面，此处提供音频段落区间的标签选择功能。
当用户给一个音频段落区间设定了标签后，下方的标注数据列表将同步自动显示该频段落区间的呼吸音类型、开始时间、结束时间、持续时长的信息，用户也可以对此段数据进行相关编辑操作，进入界面变化状态图5界面，此处提供对标注信息的显示和对此段数据选择是否清晰、播放、删除等编辑操作功能。
用户点击右上角账号ID处，可选择子菜单按钮“切换身份”，换成以管理员身份账号登录，以管理员身份登录后，进入首页既数据总库界面，进入界面变化状态图6界面，此处提供呼吸音文件的导入、分配、审核与筛选查看功能。
在管理员身份账号登录状态下，用户可对数据总库列表中的呼吸音文件进行批量选择，点击右上角的“批量分配文件”按钮后，界面中心将出现分配标注文件的对话框，进入界面变化状态图7界面，此处提供自动化分配标注文件功能。
用户在数据总库列表的标注信息字段栏下，点击“审核”按钮后，进入审核标注信息界面，进入界面变化状态图8界面，此处提供标注信息的审核功能。
用户也在数据总库列表的标注信息字段栏下，点击“查看”按钮后，进入查看标注信息界面，进入界面变化状态图9界面，此处提供标注信息的查看功能。
用户点击左侧导航栏的“呼吸音类型”按钮后，进入查看呼吸音类型界面，进入界面变化状态图10界面，此处提供查看已审核通过的各呼吸音类型的相关信息功能。
用户点击左侧导航栏的“数据统计”按钮后，进入数据统计界面，进入界面变化状态图11界面，此处提供查看系统整体录入数据的可视化分析功能。