一种基于令牌封装与增强的视觉Transformer轻量化方法及系统

    公开(公告)号:CN117592525A

    公开(公告)日:2024-02-23

    申请号:CN202311576896.3

    申请日:2023-11-23

    Inventor: 唐胜 房海鹏 曹娟

    Abstract: 本发明提出一种基于令牌封装与增强的视觉Transformer轻量化方法,包括:以视觉Transformer网络构建视觉模型;划分目标图像为多个图像块,将该图像块编码为图像令牌,对该图像令牌依重要性分类为高重要性令牌和低重要性令牌,将该低重要性令牌的信息封装至该代理令牌;以预设的注意力增强矩阵对该高重要性令牌、该分类令牌和封装后的代理令牌进行增强,生成该视觉模型的模型输入;以该视觉模型对该模型输入进行处理操作。本发明还提出一种基于令牌封装与增强的视觉Transformer轻量化系统,以及一种用于实现基于令牌封装与增强的视觉Transformer轻量化方法的数据处理装置。

    基于时空分解与对齐的端到端动作视频生成方法及系统

    公开(公告)号:CN117710850A

    公开(公告)日:2024-03-15

    申请号:CN202311575656.1

    申请日:2023-11-23

    Abstract: 本发明提出一种基于时空分解与对齐的端到端动作视频生成方法,包括:构建视频生成模型,以一组姿势关键点、参考前景及参考背景作为该视频生成模型的模型输入,以目标动作视频作为该视频生成模型的模型输出;将该目标动作视频的原始视频空间分解为多组时空子空间,通过动作流引导使各组时空子空间的子空间特征对齐;将对齐后的各组时空子空间恢复为该原始视频空间,并得到该目标动作视频。本发明还提出一种基于时空分解与对齐的端到端动作视频生成系统,以及一种用于实现基于时空分解与对齐的端到端动作视频生成的数据处理装置。

Patent Agency Ranking