公开(公告)号：CN117975565A

公开(公告)日：2024-05-03

申请号：CN202410208172.1

申请日：2024-02-26

Applicant: 西安电子科技大学

Inventor： 古晶 ,  翟得胜 ,  董天雨 ,  万家振 ,  侯彪 ,  毛莎莎 ,  冯婕 ,  杨淑媛 ,  刘芳 ,  焦李成

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于时空扩散和并行Transformer的动作识别系统及方法，系统包括：特征提取模块、两分支Transformer网络、局部运动激励模块、时空扩散模块和视频分类器模块；方法包括：首先将输入视频送入特征提取模块，然后将提取到的视频特征分别送入两分支Transformer网络结构，第一分支由深度可分离卷积和并行Transformer模块构成，第二分支由交叉Transformer模块构成，其次，提出轻量化的局部运动激励模块，该模块可插入到任意Transformer网络中，然后，通过时空扩散模块融合两分支结构得到的时空特征，增强视频长距离时序依赖，最后，借助视频分类器模块输出视频动作识别的结果；本发明具有提升模型识别精度和降低模型训练成本的技术效果。

公开(公告)号：CN116824694B

公开(公告)日：2025-04-29

申请号：CN202310663302.6

申请日：2023-06-06

Applicant: 西安电子科技大学

Inventor： 古晶 ,  翟得胜 ,  董天雨 ,  张炜 ,  杨淑媛 ,  冯婕 ,  侯彪 ,  刘芳 ,  焦李成

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/42

Abstract: 基于时序聚合和门控Transformer的动作识别系统及方法，系统包括：依次连接的特征提取模块、第一3D‑ResNet网络、第一下采样模块、第二3D‑ResNet网络、第二下采样模块、第一Transformer网络、第三下采样模块、第二Transformer网络、全局平均池化模块和全连接层；方法包括：特征提取；局部特征增强；全局特征增强；动作识别；本发明通过在浅层网络引入深度可分离卷积模块，并设计卷积算子，同时在深层网络引入门控单元，有效地将卷积神经网络和Transformer网络的优势融合，建立兼顾局部时空关系和全局时空关系的动作识别系统，实现对视频动作外观特征和运动特征的有效提取，具有减少背景信息干扰，降低模型计算量，提高动作识别准确率的特点。

公开(公告)号：CN116681727A

公开(公告)日：2023-09-01

申请号：CN202310663304.5

申请日：2023-06-06

Applicant: 西安电子科技大学

Inventor： 古晶 ,  董天雨 ,  翟得胜 ,  张炜 ,  杨淑媛 ,  冯婕 ,  侯彪 ,  刘芳 ,  焦李成

IPC: G06T7/246 ,  G06V10/764 ,  G06V10/25 ,  G06V10/26 ,  G06V10/42 ,  G06N3/0499

Abstract: 一种基于稀疏表示的自适应Transformer目标跟踪系统及方法，系统包括：特征提取模块，特征提取模块包括块嵌入层、Transformer块、稀疏空间注意模块、稀疏自适应空间剪枝模块以及候选区域重建模块，以及预测头模块；方法包括：将搜索区域图像和模板集图像同时输入特征提取模块，进行特征提取并输出搜索区域特征图与classtoken；将输出的搜索区域特征图与classtoken送入预测头模块，利用预测头模块中的概率头、尺度头与偏差头计算得出预测的目标包围框；利用质量头计算得出搜索区域质量；对当前帧的搜索区域图像以预测的目标包围框为中心裁剪，在模板集图像中对最久未更新的动态模板进行更新；本发明具有计算量低，数据处理速度快以及跟踪精度高的优点。

公开(公告)号：CN118229732A

公开(公告)日：2024-06-21

申请号：CN202410328961.9

申请日：2024-03-21

Applicant: 西安电子科技大学

Inventor： 古晶 ,  董天雨 ,  翟得胜 ,  万家振 ,  孙恒 ,  侯彪 ,  毛莎莎 ,  冯婕 ,  杨淑媛 ,  刘芳 ,  焦李成

IPC: G06T7/246 ,  G06V20/40 ,  G06V10/25 ,  G06V10/764 ,  G06V10/766 ,  G06V10/771 ,  G06V10/77 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/0895

Abstract: 一种基于对比学习的视频目标跟踪系统及方法，系统包括：特征提取模块、对比学习头、跟踪头、动态模板更新模块和损失函数计算模块；方法包括：将搜索帧、模板和动态模板图像输入特征提取模块中，得到输出搜索帧对比特征、模板对比特征、输出搜索帧特征；将搜索帧对比特征和模板对比特征均输入对比学习头中进行特征映射，将搜索帧特征输入跟踪头中，输出目标包围框，将特征映射结果进行对比学习损失函数计算，对目标包围框进行分类损失和回归损失函数计算，得到对比学习、分类损失和回归损失函数损失值再进行加和得到总损失值，利用总损失值进行反向传播；将当前搜索帧置信度用于动态模板更新模块的更新；本发明具有跟踪精度高和适应范围广的优点。

公开(公告)号：CN116824694A

公开(公告)日：2023-09-29

申请号：CN202310663302.6

申请日：2023-06-06

Applicant: 西安电子科技大学

Inventor： 古晶 ,  翟得胜 ,  董天雨 ,  张炜 ,  杨淑媛 ,  冯婕 ,  侯彪 ,  刘芳 ,  焦李成

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/42

Abstract: 基于时序聚合和门控Transformer的动作识别系统及方法，系统包括：依次连接的特征提取模块、第一3D‑ResNet网络、第一下采样模块、第二3D‑ResNet网络、第二下采样模块、第一Transformer网络、第三下采样模块、第二Transformer网络、全局平均池化模块和全连接层；方法包括：特征提取；局部特征增强；全局特征增强；动作识别；本发明通过在浅层网络引入深度可分离卷积模块，并设计卷积算子，同时在深层网络引入门控单元，有效地将卷积神经网络和Transformer网络的优势融合，建立兼顾局部时空关系和全局时空关系的动作识别系统，实现对视频动作外观特征和运动特征的有效提取，具有减少背景信息干扰，降低模型计算量，提高动作识别准确率的特点。