公开(公告)号：CN117765172A

公开(公告)日：2024-03-26

申请号：CN202311708261.4

申请日：2023-12-12

Applicant: 之江实验室

Inventor： 汪婷 ,  谢安桓 ,  叶敏翔 ,  项森伟 ,  孟森森 ,  汪雯

IPC: G06T17/00 ,  G06T7/73 ,  G06T15/55

Abstract: 本说明书公开了一种遥感图像三维重建的方法及装置，根据指定观测方向针对各遥感图像包含的各像素确定多个目标点，将各遥感图像分别对应的太阳光方向、图像嵌入向量，以及各目标点的三维坐标作为输入，输入到神经辐射场模型，得到各目标点分别对应的属性信息，根据各目标点分别对应的属性信息，确定各像素点的像素颜色和深度，根据各像素点的像素颜色和深度，生成目标场景对应的数字表面模型以及指定观测方向下的视图合成结果。可见，通过上述方案，充分考虑场景光源以及几何结构的影响，准确描述在不同时间下、不同位置处的目标点的属性信息，从而提升每个像素点的颜色准确性，进而提升数字表面模型以及指定观测方向下视图合成结果的准确性。

公开(公告)号：CN117037288A

公开(公告)日：2023-11-10

申请号：CN202311287226.X

申请日：2023-10-08

Applicant: 之江实验室

Inventor： 汪雯 ,  钟灵 ,  高广 ,  宛敏红 ,  顾建军

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06V10/46

Abstract: 本发明公开了一种基于Transformer双流融合网络的多模态人体动作识别方法及装置，该方法包括以下步骤：首先，提取人体动作视频数据的RGB帧和光流图像，等间隔采样一定长度的视频图像序列，并利用卷积神经网络为RGB帧和光流图像提取时空特征，作为双流网络模型的输入；然后，使用Transformer编码器捕捉单个分支网络的显著特性以及它们之间的交互特性；最后，将双路分支网络的输出进行融合，并将融合后的特征和单个分支网络的输出送入分类器实现对人体动作的有效识别。本发明通过Transformer编码器增强RGB帧和光流图像的特征表达与融合能力，能有效提高人体动作识别的性能，满足现实生活场景对于人体动作识别技术的应用需求。