本公开提供了一种基于素描图的图像视频语义编解码方法和装置，涉及数据处理技术领域。所述方法包括：获取原始图像；获取所述原始图像的素描图；将所述原始图像输入语义分割网络，得到语义分割结果；将所述素描图转化为二维张量，得到素描图张量；将所述语义分割结果转化为二维张量，得到分割结果张量；根据所述分割结果张量，对所述素描图张量进行修改，得到修改后的素描图张量；根据所述修改后的素描图张量，生成编码图像；以所述编码图像为附加条件，将所述附加条件和随机噪声输入生成对抗网络中的生成器，得到解码图像。