公开(公告)号：CN118053414A

公开(公告)日：2024-05-17

申请号：CN202410053634.7

申请日：2024-01-15

Applicant: 西南交通大学

Inventor： 程远 ,  朱俊 ,  何庆

IPC: G10L13/02 ,  G06V40/16

Abstract: 本申请公开了一种残障人士辅助发音装置，涉及图像处理应用技术领域。装置包括：视频获取模块：获取正常人士和残障人士发声过程的视频数据，提取特征信息形成数据集；模型训练模块：构建辅助发声模型，将数据集分为训练集、验证集，通过正常人士发声视频数据形成辅助发声模型的语义库，通过残障人士发声视频数据更新辅助发声模型的参数；视频采集模块：实时采集使用者发声视频数据；分析输出模块：辅助发声模型输入使用者发声视频数据，分析得出使用者想要发声的内容，通过合成模拟发声或图像对外输出，将面部以及喉部的肌肉运动情况与语义库中的语句建立联系，发声障碍患者就可以不通过手语或写字与他人交流，恢复正常人的生活方式。

公开(公告)号：CN116343096A

公开(公告)日：2023-06-27

申请号：CN202310375002.8

申请日：2023-04-10

Applicant: 西南交通大学

Inventor： 程远 ,  朱俊 ,  何庆

IPC: G06V20/40 ,  G06V40/16 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本申请公开了一种基于卷积神经网络和长期短期记忆网络的辅助发声方法及系统，涉及图像处理应用技术领域。方法包括：通过LSTM、CNN、FCN三部分神经网络构建预测模型框架；收集发声动作视频，并对所述发声动作视频进行取帧；将取帧处理后的部分数据文件用于所述预测模型框架的参数调整，导出预测模型；所述预测模型输入面部动作，输出该面部动作的语义信息，通过结合LSTM和CNN两种深度神经网络，处理捕捉到的人物发声过程面部动作的视频，通过结合视频的语义标签，以及计算机视觉技术对视频数据特征学习的能力，并且经过深度神经网络的训练优化模型，最终得到具有高精度预测能力的发声语义预测模型。

公开(公告)号：CN217793058U

公开(公告)日：2022-11-15

申请号：CN202221621717.4

申请日：2022-06-27

Applicant: 西南交通大学

Inventor： 程远 ,  朱俊 ,  何庆 ,  李娜 ,  罗梦笛

IPC: A61B5/11 ,  A61B5/103

Abstract: 本实用新型涉及医疗器械领域，特别是涉及一种踝关节运动姿态采集器，包括护套和弹性固定带，护套的一部分用于包覆人体的脚掌，另一部分用于包覆人体的踝关节，弹性固定带连接在护套上，弹性固定带与护套配和对人体的踝关节部位施压，限制人体踝关节的活动幅度，在护套上还设置有运动数据采集装置，运动数据采集装置用于采集人体运动中踝关节部位压力变化数据。本实用新型的一种踝关节运动姿态采集器，通过在护套上设置了运动数据采集装置采集人体运动中踝关节部位压力变化数据，实现了运动时实时监控人体踝关节的状态，避免了运动时人体踝关节在长时间处于错误的姿态，从而降低了踝关节损伤的风险。