-
公开(公告)号：CN118230410A
公开(公告)日：2024-06-21
申请号：CN202410248078.9
申请日：2024-03-05
申请人： 西北大学
IPC分类号： G06V40/20 , G06V40/70 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/049
摘要： 本发明公开了一种基于无线信号和视频信息的多模态手势识别方法：步骤S1：采集无线信号和手势视频数据；步骤S2：获取CSI信息；步骤S3：得到幅值序列；步骤S4：对幅值序列预处理；步骤S5：将预处理的CSI数据分为有标签和无标签两部分；步骤S6：循环训练完成CSI特征提取；步骤S7：得到手势动作图；步骤S8：得到骨架手势动作数据集；步骤S9：提取手势视频骨架特征；步骤S10：得到视频流手势动作特征；步骤S11：融合；步骤S12：对融合特征进行手势预测得到识别结果。本发明解决了基于单模态的手势识别方法中因多变的环境等固有限制因素导致识别精度下降的问题，提升了手势识别模型的识别准确率和鲁棒性，可广泛应用于手势识别乃至动作识别领域。
-
公开(公告)号：CN114677704B
公开(公告)日：2024-03-26
申请号：CN202210166930.9
申请日：2022-02-23
申请人： 西北大学
IPC分类号： G06V40/10 , G06V40/20 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/048 , G06N3/08
摘要： 本发明公开了一种基于三维卷积的时空特征多层次融合的行为识别方法，该方法针对行为识别任务中视频能够提供更加丰富特征信息，采用三维卷积核以及时间和空间双流框架作为网络主干，其中一个分支提取视频时间特征，另外一个分支提取视频的空间特征。在不同的行为中，考虑到视频中的行为小目标在识别网络中的高层网络部分容易特征丢失，快节奏的行为不容易被网络感受，提出了将不同感受野上的时间和空间区域的特征均考虑进网络。以多层特征融合模块来均衡空间特征和时间特征对于最后行为分类结果的影响，充分利用提取到的多层次特征。该方法提取视频中的时间和空间特征，并对其进行融合和行为识别，相较于现有相关行为识别方法，具有更高的准确性。
-
公开(公告)号：CN116363555A
公开(公告)日：2023-06-30
申请号：CN202310239350.2
申请日：2023-03-14
申请人： 西北大学
IPC分类号： G06V20/40 , G06V40/20 , G06V10/82 , G06N3/0464 , G06N3/08
摘要： 本申请涉及一种基于Transformer的语义信息增强的行为识别方法，本申请采样光流法和聚类方法提取视频关键帧作为输入，并利用卷积神经网络提取低水平信息；然后利用空洞卷积捕获相邻键向量之间的局部信息，进一步利用局部信息来触发挖掘全局信息的自注意力，最后将局部和全局的上下文信息进行融合；相比较于传统的自注意力机制，该方法能同时学习位置方面的局部特征和基于内容的全局交互，从而增强了视觉表示能力；此外，本申请在保证计算成本的前提下，有效提高了行为识别的准确率。
-
-
公开(公告)号：CN116229511A
公开(公告)日：2023-06-06
申请号：CN202310158824.0
申请日：2023-02-23
申请人： 西北大学
IPC分类号： G06V40/10 , G06V40/20 , G06V20/40 , G06V10/74 , G06V10/42 , G06V10/44 , G06V10/62 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
摘要： 本申请涉及一种基于金丝猴躯干局部特征提取的身份重识别方法，使用卷积神经网络进行全局特征提取，然后使用MMpose工具进行关键点检测，再利用得到的关键点坐标信息对全局特征进行定位切分，得到局部特征；相比较使用平均硬切分方式，利用骨架结构更能够表达金丝猴的身体结构信息，能够解决部位不对齐和姿势多样化的问题；利用得到的全局特征信息和局部特征信息构建时间和空间关系的超图结构，有效提高了视频金丝猴重识别的准确率。
-
公开(公告)号：CN114783054A
公开(公告)日：2022-07-22
申请号：CN202210300680.3
申请日：2022-03-24
申请人： 西北大学
摘要： 本发明公开了一种基于的无线和视频特征融合的步态识别方法，该方法包括：使用视频采集设备获取行人步态识别视频数据，对视频帧利用分割网络获得高质量的行人轮廓图序列，对轮廓图进行标准化裁剪操作处理成统一格式，然后使用基于时间空间的深度神经网络获取行人的视频特征；使用普通商用无线信号设备，一端发送物理层信道状态信息CSI数据，另外一端接收，对CSI数据进行去噪以及归一化预处理，用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取；最后将提取到的无线和视频的特征进行融合，进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别，相对于现有的相关技术，具有更好的鲁棒性，更加适合多变的复杂场景。
-
公开(公告)号：CN114677704A
公开(公告)日：2022-06-28
申请号：CN202210166930.9
申请日：2022-02-23
申请人： 西北大学
IPC分类号： G06V40/10 , G06V40/20 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06K9/62 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种基于三维卷积的时空特征多层次融合的行为识别方法，该方法针对行为识别任务中视频能够提供更加丰富特征信息，采用三维卷积核以及时间和空间双流框架作为网络主干，其中一个分支提取视频时间特征，另外一个分支提取视频的空间特征。在不同的行为中，考虑到视频中的行为小目标在识别网络中的高层网络部分容易特征丢失，快节奏的行为不容易被网络感受，提出了将不同感受野上的时间和空间区域的特征均考虑进网络。以多层特征融合模块来均衡空间特征和时间特征对于最后行为分类结果的影响，充分利用提取到的多层次特征。该方法提取视频中的时间和空间特征，并对其进行融合和行为识别，相较于现有相关行为识别方法，具有更高的准确性。
-
公开(公告)号：CN118865441A
公开(公告)日：2024-10-29
申请号：CN202410899115.2
申请日：2024-07-05
申请人： 西北大学
IPC分类号： G06V40/10 , G06V10/764 , G06V10/82 , G06V20/70 , G06N3/047 , G06N3/0499 , G06N3/084 , G06N3/098
摘要： 本申请涉及一种基于视觉语言模型的金丝猴面部识别方法，不需要对金丝猴面部图像进行精细的标注，而是引入了额外的文本信息，这些文本信息以一种弱监督的形式存在，更易于收集和获取；并且通过描述文本可以与图像内容关联起来，提高模型对图像语义的理解能力，从而提高对细粒度特征的抽取能力。
-
公开(公告)号：CN118172724A
公开(公告)日：2024-06-11
申请号：CN202410234561.1
申请日：2024-03-01
申请人： 西北大学
摘要： 本发明提供了一种一种基于强化学习的目标计数方法，包括：步骤S1，图像预处理；步骤S2，映射至网格；步骤S3，获取密集区域；步骤S4，获取最佳密集区域划分：采用RegionNet进行步骤S3中获得的密集区域的边缘细化，设定相应的状态函数、动作选择以及奖励函数，获取最佳密集区域划分。步骤S5，获取图像中的人数。本发明尝试探索利用强化学习的思想对图像人群分布不均匀的区域按照人员聚集程度进行划分，将划分后的人群非密集区和密集区分别采用基于检测的人数计数和基于密度的人数计数的方法对最终的总人数进行估计，从而解决在不均匀分布场景下导致人数计数误差率较高的问题，进一步提高人群计数方法的准确率和模型的鲁棒性。
-
公开(公告)号：CN116385927A
公开(公告)日：2023-07-04
申请号：CN202310298280.8
申请日：2023-03-24
申请人： 西北大学
摘要： 本申请涉及一种基于轨迹和身份关联的金丝猴多目标追踪方法，通过重新利用低分检测框，并将其与前期中断的轨迹重新匹配，以延续追踪轨迹，增强模型对被遮挡目标的追踪能力；采用改进卡尔曼滤波器以更精确地定位目标；将IoU与RE‑ID特征提取进行融合处理将外观特征融入到追踪器中，以增强金丝猴多目标追踪过程中目标轨迹和身份的连续性；综上，本申请可以有效提升在野外复杂环境下对金丝猴多目标追踪的准确性和鲁棒性。
-
-
-
-
-
-
-
-
-
搜索结果
14 条记录 (耗时 0.021 秒)
