-
公开(公告)号：CN116229567A
公开(公告)日：2023-06-06
申请号：CN202310038279.1
申请日：2023-01-10
Applicant: 南京信息工程大学
IPC: G06V40/20 , G06V10/44 , G06V10/80 , G06V10/82 , G06V10/74 , G06V10/77 , G06N3/0464 , G06N3/045 , G06N3/082
Abstract: 本发明公开一种自适应帧采样驱动的手势识别方法，包括将摄像头捕获的帧序列转化为张量，使用两个卷积层作为特征提取层提取张量中每一帧图像的特征；采用帧间运动注意力算法根据两帧间局部区域模式的相似度追踪每一帧中的运动区域，为运动区域分配更大的关注权重；采用自注意力时间下采样算法根据重要性为相邻的多帧的同一区域分配不同的权重，再通过求和将多帧的特征融合为一帧；采用自注意力空间下采样算法根据重要性为局部区域的每一点分配不同的权重，通过求和将局部区域不同点特征融合为一个点；将冗余信息低的特征输入到已有的手势分类模型中对手势进行分类。本发明通过自适应帧采样剔除帧序列中冗余信息，提高手势识别模型的准确率。
-
公开(公告)号：CN114282593A
公开(公告)日：2022-04-05
申请号：CN202111386047.2
申请日：2021-11-22
Applicant: 南京信息工程大学
Abstract: 本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。
-
Patent Agency Ranking
公开(公告)号：CN114373221B
公开(公告)日：2024-09-17
申请号：CN202111474169.7
申请日：2021-12-03
Applicant: 南京信息工程大学
IPC: G06V40/20 , G06N3/084 , G06N3/0464 , G06V10/82 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，属于手语识别技术领域；包括：获取手语视频，将其帧数和像素大小统一调整；将统一调整后的手语视频输入预建立的预先进行过训练的三维卷积神经网络，提取手语特征；将手语特征输入预建立的预先进行过训练的深度卷积生成对抗网络，生成手语特征图；将手语特征图的像素大小统一调整，根据手语特征图G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果；提高手语识别的准确度和整体分类识别效率。
-
公开(公告)号：CN118072395A
公开(公告)日：2024-05-24
申请号：CN202410253805.0
申请日：2024-03-06
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种结合多模态帧间运动和共享注意力权重的动态手势识别方法，旨在解决现有技术中视频存在冗余信息，对运动手部特征难以进行准确捕捉等问题，其包括获取动态手势视频；对动态手势视频进行预处理，得到动态手势视频帧序列；根据动态手势视频帧序列，基于预训练的动态手势识别模型，对动态手势进行识别，得到动态手势含义类别等步骤，所述动态手势识别模型包括依次连接的嵌入模块、特征提取模块、帧间运动注意力模块、自适应融合下采样模块以及全连接层。本发明能够将时空维度的搜索区域减少为与手部相关的区域，在减少计算量的同时可以提升动态手势识别精度。
-
公开(公告)号：CN114373221A
公开(公告)日：2022-04-19
申请号：CN202111474169.7
申请日：2021-12-03
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，属于手语识别技术领域；包括：获取手语视频，将其帧数和像素大小统一调整；将统一调整后的手语视频输入预建立的预先进行过训练的三维卷积神经网络，提取手语特征；将手语特征输入预建立的预先进行过训练的深度卷积生成对抗网络，生成手语特征图；将手语特征图的像素大小统一调整，根据手语特征图G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果；提高手语识别的准确度和整体分类识别效率。
-
公开(公告)号：CN116934759A
公开(公告)日：2023-10-24
申请号：CN202311200851.6
申请日：2023-09-18
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种医学图像分割技术领域的局部矫正交互式医学图像分割方法及系统，旨在解决针对少样本困难分割任务时，现有技术中医学图像自动分割方法精度不高，且运算量大、成本高等问题，其包括在获得初次自动分割结果后，与用户进行第t次交互；若用户判断分割结果不准确，则进行矫正交互点击，依据点击生成补丁，对主干特征图和前次分割掩码上补丁对应区域进行裁剪，进行局部细化及全局矫正，得到第t次交互细化矫正后的分割结果再次提交用户判断，重复步骤，直至用户判断分割结果准确，输出分割结果。本发明在自动分割的基础上加入基于交互的局部矫正模块，对自动分割结果进行局部细化和全局矫正，提升分割精度。
-
公开(公告)号：CN114282593B
公开(公告)日：2024-09-27
申请号：CN202111386047.2
申请日：2021-11-22
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V40/20 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0442 , G06N3/045
Abstract: 本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。
-
-
-
-
-
-
Search Results
7
records
(took 0.02 seconds)
