公开(公告)号：CN119830347A

公开(公告)日：2025-04-15

申请号：CN202411945969.6

申请日：2024-12-26

Applicant: 南京邮电大学

Inventor： 戴华 ,  陈俊杰 ,  王周生 ,  周浩 ,  沈嘉和 ,  李惠 ,  杨庚

IPC: G06F21/62 ,  G06F18/214 ,  G06F18/22 ,  G06F18/23 ,  G06F18/24 ,  G06N3/098

Abstract: 本发明涉及联邦学习、隐私保护等技术，属于信息安全技术领域，公开了一种针对数据异构的高效客户端筛选隐私保护的联邦学习方法，该方法主要包含两个部分，分别是数据采样阶段和本地训练阶段，在数据采样阶段，所有客户端生成梯度相似度矩阵，对梯度相似性高的客户端进行分组；每组内，计算每个客户端对模型训练的贡献值，选择贡献值较高的客户端作为训练集，在本地训练阶段，根据客户端的隐私需求生成个性化的隐私预算，根据隐私预算向本地模型注入噪声以实现对模型参数的差分隐私保护。该方法能够筛选出数据质量高的客户端，加快模型收敛速度，且能够满足客户端的个性化隐私需求，对数据提供较强的隐私保护。

公开(公告)号：CN116453224A

公开(公告)日：2023-07-18

申请号：CN202310437786.2

申请日：2023-04-21

Applicant: 南京邮电大学

Inventor： 管振凯 ,  戴华 ,  李惠 ,  陆雨欣 ,  高慧婷 ,  陈玉 ,  陈燕俐 ,  杨庚

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/62 ,  G06N3/0442

Abstract: 本发明属于手语识别技术领域，公开了一种基于LSTM和NLP的手语识别方法和系统，该方法包含模型训练和手语识别两个阶段，在模型训练阶段，利用手语词元数据集与姿态检测模型获取时序关键点序列样本，训练LSTM‑SL模型、利用手语常用语料库分词获得手语表征四元组，训练W2V‑SL模型；手语识别阶段包括将待识别的手语视频或实时手语画面通过LSTM‑SL转换为手语词元预测序列，并利用滑动窗口机制和W2V‑SL模型输出符合语言规范的手语语句，并在此方法上提出了手语识别系统。本发明简化了手语识别对时序特征的采集难度，有效增强了自然语句的输出效果，提高了手语识别系统的鲁棒性和准确性。

公开(公告)号：CN116935486A

公开(公告)日：2023-10-24

申请号：CN202310901374.X

申请日：2023-07-21

Applicant: 南京邮电大学

Inventor： 戴华 ,  李惠 ,  周倩 ,  陈润桓 ,  杨庚 ,  吴昊哲

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明属于手语识别技术领域，公开了一种基于骨骼关节点和图像模态融合的手语识别方法及系统，识别方法包括：将手语骨骼关节点数据进行区域划分，输入至预设的图卷积神经网络中得到各个区域的骨骼关节点特征向量；将手语RGB图像数据输入至基于多维注意力模块的ResNet‑18网络模型中，得到图像特征向量；将各个区域的骨骼关节点特征向量与图像特征向量分别输入至Bi‑LSTM模型当中，获得手语骨骼关节点数据的序列特征和手语RGB图像数据的序列特征；基于各自的序列特征分别进行手语预测，最后进行晚期融合，得到最终的手语识别结果。本发明提高了手语识别结果的准确性和鲁棒性，增强了手语识别系统在实际环境中的应用。