-
公开(公告)号：CN115188079A
公开(公告)日：2022-10-14
申请号：CN202210884237.5
申请日：2022-07-25
IPC: G06V40/20 , G06V10/82 , G06V10/764 , G06N3/04 , G06N3/08
Abstract: 本发明为基于自适应多尺度注意力时序网络的连续手语识别方法，该方法包括：对输入手语图像序列调整图像大小并进行预处理；将预处理的手语图像序列输入到残差网络Resnet18中进行空间特征提取，得到空间特征；将空间特征输入到自适应多尺度注意力时序网络提取空间特征的多尺度时空特征，将多尺度时空特征输入到串联的两层的双向长短时记忆网络中，提取其长期时间联系的时空特征；利用全连接层和softmax激活函数将长期时间联系的时空特征转换为分类概率矩阵；利用分类概率矩阵进行训练解码，得到手语序列的标签。该方法解决了之前工作中使用固定时间感受野带来的手语词时间特征提取不足的问题，提升了网络的识别性能。
-
公开(公告)号：CN111339837B
公开(公告)日：2022-05-03
申请号：CN202010083258.8
申请日：2020-02-08
Abstract: 本发明一种连续手语识别方法，涉及用于识别图形的记录载体的处理，是基于对多模态图像序列特征融合和自注意力机制的编码解码网络的连续手语识别的方法，首先获得光流图像序列，通过原始手语图像序列和光流图像序列时空特征的提取和多模态图像序列时空特征融合，和手语句子标签的文本特征序列的提取，将融合后的多模态图像序列时空特征和提取的手语句子标签的文本特征序列输入到基于自注意力机制的编码解码网络中进行手语标签预测输出，克服了现有技术存在的特征单一、视频需要分割的缺陷。
-
公开(公告)号：CN113487481A
公开(公告)日：2021-10-08
申请号：CN202110746815.4
申请日：2021-07-02
Abstract: 本发明为基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：对视频数据进行预处理，获得对应的低分辨率帧序列；构建信息构建模块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h0和初始的预输出信息o0；构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，得到超分辨率帧序列。可以胜任在线超分辨率任务。
-
公开(公告)号：CN112329690B
公开(公告)日：2022-08-05
申请号：CN202011281122.4
申请日：2020-11-16
IPC: G06V40/20 , G06V10/774 , G06V10/764 , G06V10/77 , G06V10/82 , G06N3/04
Abstract: 本发明为基于时空残差网络和时序卷积网络的连续手语识别方法，该方法采用时空残差网络克服了完全使用三维卷积神经网络计算量大的缺点以及完全使用二维卷积神经网络短期时空特征提取不充分的缺陷；时序卷积网络增强块级特征之间的时间关联，可以在一定程度上解决RNN网络中存在的长期依赖的问题，进而在一定程度上解决CTC固有的条件独立性假设带来输出词之间的相关性缺失问题。
-
公开(公告)号：CN114821802B
公开(公告)日：2024-11-01
申请号：CN202210528751.5
申请日：2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/0495 , G06N3/082 , G06N5/04
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法，包括获取手语视频，从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理，从视频中提取空间特征，再从空间特征中提取具有短期时间联系的手语词级特征，从手语词级特征中提取具有长期时间联系的上下文级特征，再利用全连接层和激活函数，获得归一化的分类概率矩阵；基于获得的分类概率矩阵构建总损失函数，并训练神经网络；将训练后的神经网络用于预测手语，并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息，通过相互蒸馏的方式充分利用脸部信息和手部信息的知识，解决了局部信息利用不充分的问题，提高了神经网络的泛化能力；通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
Patent Agency Ranking
公开(公告)号：CN114821802A
公开(公告)日：2022-07-29
申请号：CN202210528751.5
申请日：2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08 , G06N5/04 , G06K9/62
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法，包括获取手语视频，从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理，从视频中提取空间特征，再从空间特征中提取具有短期时间联系的手语词级特征，从手语词级特征中提取具有长期时间联系的上下文级特征，再利用全连接层和激活函数，获得归一化的分类概率矩阵；基于获得的分类概率矩阵构建总损失函数，并训练神经网络；将训练后的神经网络用于预测手语，并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息，通过相互蒸馏的方式充分利用脸部信息和手部信息的知识，解决了局部信息利用不充分的问题，提高了神经网络的泛化能力；通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
公开(公告)号：CN113487481B
公开(公告)日：2022-04-12
申请号：CN202110746815.4
申请日：2021-07-02
Abstract: 本发明为基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：对视频数据进行预处理，获得对应的低分辨率帧序列；构建信息构建模块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h0和初始的预输出信息o0；构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，得到超分辨率帧序列。可以胜任在线超分辨率任务。
-
公开(公告)号：CN112329690A
公开(公告)日：2021-02-05
申请号：CN202011281122.4
申请日：2020-11-16
Abstract: 本发明为基于时空残差网络和时序卷积网络的连续手语识别方法，该方法采用时空残差网络克服了完全使用三维卷积神经网络计算量大的缺点以及完全使用二维卷积神经网络短期时空特征提取不充分的缺陷；时序卷积网络增强块级特征之间的时间关联，可以在一定程度上解决RNN网络中存在的长期依赖的问题，进而在一定程度上解决CTC固有的条件独立性假设带来输出词之间的相关性缺失问题。
-
公开(公告)号：CN111339837A
公开(公告)日：2020-06-26
申请号：CN202010083258.8
申请日：2020-02-08
Abstract: 本发明一种连续手语识别方法，涉及用于识别图形的记录载体的处理，是基于对多模态图像序列特征融合和自注意力机制的编码解码网络的连续手语识别的方法，首先获得光流图像序列，通过原始手语图像序列和光流图像序列时空特征的提取和多模态图像序列时空特征融合，和手语句子标签的文本特征序列的提取，将融合后的多模态图像序列时空特征和提取的手语句子标签的文本特征序列输入到基于自注意力机制的编码解码网络中进行手语标签预测输出，克服了现有技术存在的特征单一、视频需要分割的缺陷。
-
公开(公告)号：CN104298981A
公开(公告)日：2015-01-21
申请号：CN201410616426.X
申请日：2014-11-05
Applicant: 河北工业大学
CPC classification number: G06K9/00302 , G06K9/00268 , G06K9/00288
Abstract: 本发明人脸微表情的识别方法，涉及应用电子设备进行识别图形的方法，是在对人脸微表情图像序列预处理完成之后，使用Birnbaum-Saunders分布曲线建立回归模型，再使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征，最后使用分类器进行训练和预测，该方法克服了现有人脸微表情的识别方法存在对人脸微表情图像的亮点、边缘和白色噪声微小特征较为敏感，因而识别性能低的缺陷。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.024 seconds)
