本申请适用于图像处理技术领域，提供了一种基于内窥镜图像的息肉识别系统和方法，该息肉识别系统中，内窥镜图像输入模块获取待识别的内窥镜图像，并将内窥镜图像输入至残差网络模块；残差网络模块从内窥镜图像中提取残差网络特征图像；特征金字塔模块根据残差网络特征图像，形成金字塔特征图像；特征迁移模块将金字塔特征图像分别连接至区域检测模块和息肉分割模块；区域检测模块根据金字塔特征图像确定息肉区域边框；息肉分割模块根据金字塔特征图像确定息肉分割掩膜；识别结果输出模块根据息肉分割掩膜和息肉区域边框获取内窥镜图像对应的息肉识别结果。通过该息肉识别系统，可以提高息肉识别的准确性。