一种共时与跨域异步融合驱动的行为识别方法，包括：获取多人人体彩色图像作为图像序列；从截取图像中估计二维人体姿态，计算二维人体姿态的关键点热图作为姿态序列；建立表观网络，以图像序列作为输入并提取图像特征；同时，建立姿态网络，以姿态序列作为输入并提取姿态特征；以图像特征和姿态特征作为输入，将图像特征和姿态特征进行缩放、对齐和融合；将融合后的图像特征和姿态特征归一化，拼接归一化后的双流特征得到全局特征，输入到分类器中求解概率最大的行为类别；采集多人人体彩色图像序列、二维人体姿态及其对应的类别标签作为训练数据集，对表观网络、姿态网络、共时缩放单元和跨域融合单元进行预训练优化。