-
公开(公告)号:CN114529984B
公开(公告)日:2024-09-24
申请号:CN202210050116.0
申请日:2022-01-17
Applicant: 重庆邮电大学
IPC: G06V40/20 , G06V40/10 , G06V20/40 , G06T7/73 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0442 , G06V10/764 , G06N3/042 , G06N3/045
Abstract: 本发明请求保护一种基于可学习PL‑GCN和ECLSTM的骨骼动作识别方法,涉及动作识别领域。可以解决骨骼动作识别过程中关键帧和显著运动关节的特征捕获能力有限和相似动作分类能力较弱等问题,该方法包括:针对相似动作识别易混淆的问题提出了一种可学习图卷积网络(PL‑GCN)用于改善模型的物理结构;针对关键帧捕获能力较弱的问题提出了特征增强的长短时记忆网络(ECLSTM)用于增强时序特征;利用骨骼序列数据的图拓扑结构完成骨骼图的构建;融合来自图卷积后的空间特征和由ECLSTM网络提取后的时序特征;对融合后的特征经过平均池化、卷积后进行最后的特征分类。本专利提出的方法在动作识别进度,算法复杂度以及特征提取能力均优于当前的一些方法。
-
公开(公告)号:CN117746484A
公开(公告)日:2024-03-22
申请号:CN202311782105.2
申请日:2023-12-22
Applicant: 重庆邮电大学
IPC: G06V40/16 , G06V40/18 , G06V10/774 , G06Q50/20
Abstract: 本发明涉及一种面部特征多粒度认知增强的微表情识别方法和系统,属于情感计算技术领域。该方法包括数据获取、多维预处理、多粒度全局特征提取、多粒度局部特征提取、多粒度认知增强和特征分类。采用多维预处理方法进行数据预处理。采用多粒度全局/局部特征提取方法分别获取粗/细粒度特征向量,并且在提取多个局部特征时引入迁移学习。在多粒度认知增强过程中,通过通道注意力模块提取人脸全局特征向量,之后将其加权到局部特征向量,旨在利用面部全局的粗粒度特征为局部特征的细粒度特征提供指导;将获得的最终特征向量作为分类模型的输入分量进行模型训练以获得分类模型。该系统基于上述方法实现,可以实时监控并反馈学生课堂情绪变化。
-
公开(公告)号:CN116453218A
公开(公告)日:2023-07-18
申请号:CN202310369403.2
申请日:2023-04-07
Applicant: 重庆邮电大学
IPC: G06V40/20 , G06V10/46 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明请求保护一种基于多尺度时空主题图卷积网络的人体动作识别方法与系统,属于姿态领域。该方法具体包括:S1利用关键点置信度和亲和度预测网络对输入的图像数据进行骨骼特征关键点提取,生成待识别的特征图;S2构建基于主题的人体骨骼的邻接矩阵,并增加四肢区域节点的划分策略,对每对关节点之间存在的联系建立主题图卷积网络;S3对人体骨骼邻接节点的骨骼特征,利用多尺度特征提取方法,建立多尺度主题图卷积网络;S4建立多尺度时空主题图卷积网络模型;S5日常环境下实现常见动作的检测,当视频图像内的人发生危险动作时,及时通知工作人员。本发明能够在不提高模型的复杂度的情况下提高模型的准确率,同时结合现实生活需要实现人体动作识别。
-
公开(公告)号:CN116306681A
公开(公告)日:2023-06-23
申请号:CN202211623149.6
申请日:2022-12-16
Applicant: 重庆邮电大学
IPC: G06F40/35 , G06F16/332 , G06F16/33 , G06F18/214 , G06V10/77 , G06N3/08 , G06N3/0464 , G06N3/0442
Abstract: 本发明公开了基于事实场景的可解释性视觉问答模型构建方法与系统,获取第一数据集与第二数据集;对视觉问答模型进行预训练,获得图像特征提取网络与文本特征提取网络;权重反向传播方法对图像特征提取网络进行处理,获得图像反事实样本;开源机器学习库对文本特征提取网络进行处理,获得文本反事实样本;引入对抗性半事实样本对视觉问答模型进行迭代更新,获得视觉问答预测模型;提取特征数据,通过特征数据对视觉问答预测模型进行验证,获得可解释性视觉问答模型;本发明的有益效果为解决了当前视觉问答研究中存在的模型可解释性不强的问题,使得模型保存关键的因果信息去增强模型的推理能力,更为细粒度地去捕获图像特征和文本特征。
-
公开(公告)号:CN115860119A
公开(公告)日:2023-03-28
申请号:CN202211556154.X
申请日:2022-12-06
Applicant: 重庆邮电大学
IPC: G06N5/025 , G06F18/214 , G06N3/0455 , G06N3/084 , G06N3/0985
Abstract: 本发明公开了基于动态元学习的少样本知识图谱补全方法和系统,涉及知识图谱图补全技术领域,其技术方案要点是:基于动态元学习的少样本知识图谱补全方法和系统,在传统的基于优化的元学习补全方法的基础上引入了动态邻居编码器,在执行链接预测任务的时候,根据任务关系动态地调节实体邻居信息的权重,并将动态邻居信息融合到实体嵌入中,从而提高实体嵌入的语义表示。同时,对同一关系的不同属性建立了基于一维卷积的融合策略,使得关系嵌入能够表示各方面属性信息,进一步增强了关系表示的鲁棒性,并利用该关系嵌入对模型进行训练,显著提高了链接预测的准确性,进而达到提升知识图谱补全效果的目的。
-
公开(公告)号:CN112786189B
公开(公告)日:2022-07-01
申请号:CN202110008504.8
申请日:2021-01-05
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于深度学习的新冠肺炎智能诊断系统,属于医学图像处理领域,包括控制单元、智能检测与诊断单元、存储单元和三维显示单元,控制单元用于输入和修改系统数据;智能检测与诊断单元用于对新冠肺炎病例进行预测;智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块。本发明采用结合了检测+去假阳性+预测三部分相结合的深度学习网络诊断系统输出诊断结果,解决了病灶过小不易检测、单个局部病灶信息过少以及误诊率过高等问题,解决了医学样本数量过小的问题,大大提升了诊断效率,有助于提高患者的治疗效率以及积累临床资料。
-
公开(公告)号:CN114529984A
公开(公告)日:2022-05-24
申请号:CN202210050116.0
申请日:2022-01-17
Applicant: 重庆邮电大学
IPC: G06V40/20 , G06V40/10 , G06V20/40 , G06T7/73 , G06N3/08 , G06N3/04 , G06K9/62 , G06V10/764 , G06V10/82
Abstract: 本发明请求保护一种基于可学习PL‑GCN和ECLSTM的骨骼动作识别方法,涉及动作识别领域。可以解决骨骼动作识别过程中关键帧和显著运动关节的特征捕获能力有限和相似动作分类能力较弱等问题,该方法包括:针对相似动作识别易混淆的问题提出了一种可学习图卷积网络(PL‑GCN)用于改善模型的物理结构;针对关键帧捕获能力较弱的问题提出了特征增强的长短时记忆网络(ECLSTM)用于增强时序特征;利用骨骼序列数据的图拓扑结构完成骨骼图的构建;融合来自图卷积后的空间特征和由ECLSTM网络提取后的时序特征;对融合后的特征经过平均池化、卷积后进行最后的特征分类。本专利提出的方法在动作识别进度,算法复杂度以及特征提取能力均优于当前的一些方法。
-
公开(公告)号:CN110175596B
公开(公告)日:2022-04-22
申请号:CN201910481703.3
申请日:2019-06-04
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法,包括以下步骤:S1:微表情数据的预处理:对微表情视频进行欧拉视频放大并抽取图像序列,对图像序列进行人脸定位并裁剪,得到微表情的RGB数据;将欧拉视频放大后的数据提取光流信息,得到微表情的光流图像;S2:将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络,以学习到微表情的空间与时域信息;S3:将双流卷积神经网络的输出进行最大值融合,以增强识别准确率,得到最终的微表情识别模型;S4:使用微表情识别模型创建虚拟学习环境交互系统,并通过Kinect获取用户面部图像序列进行微表情识别任务。
-
公开(公告)号:CN109766427B
公开(公告)日:2021-04-06
申请号:CN201910036927.3
申请日:2019-01-15
Applicant: 重庆邮电大学
IPC: G06F16/332 , G06N3/04
Abstract: 本发明涉及一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,属于自然语言处理和虚拟现实技术领域。该方法包括:S1:构建知识库及数据预处理;S2:特征提取及向量表示:在构建堆叠Bi‑LSTM网络的模型中配置co‑attention机制与attention机制;S3:同时考虑问答对空间向量的位置与方向,调和余弦相似度与欧几里德距离来计算问答对向量间的匹配度;S4:基于Unity3D平台搭建虚拟学习环境并引入网络模型,实现特定域虚拟课堂的智能问答。本发明将深度网络模型与多类注意力机制结合,实现了问答对更深层次的交互理解与表示,同时特定域虚拟课堂的引入拓宽了智能问答的应用范围。
-
公开(公告)号:CN106919251A
公开(公告)日:2017-07-04
申请号:CN201710014881.6
申请日:2017-01-09
Applicant: 重庆邮电大学
Abstract: 本发明请求保护一种基于多模态情感识别的虚拟学习环境自然交互方法,包括:获取表征学生学习状态的表情、姿态和语音信息,构建基于彩色图像、深度信息、语音信号和骨骼信息的多模态情感特征;对彩色和深度图像进行人脸检测、预处理和特征提取,用支持向量机SVM和AdaBoost方法混合进行人脸表情分类;其次对语音情感信息进行预处理和情感特征的提取,利用隐马尔可夫模型对语音情感进行识别;对骨骼信息进行规则化处理得到人体姿势表示向量,用多类支持向量机SVM进行姿势情感分类;对三类情感的识别结果构建求积规则融合算法在决策层进行融合,根据融合结果生成虚拟智能体的表情、语音和姿势等情感表现。
-
-
-
-
-
-
-
-
-