本发明公开了一种基于船载与岸基协同处理的拖网渔船智能监视系统及方法，包括岸基智能处理系统和船基智能处理系统，船载智能信息处理系统通过内部网络对船基信息采集系统采集的船载信息进行处理，船载智能信息处理系统对船载信息进行数据提炼、清洗、分类和缓存处理并获取拖网渔船作业过程中的智能监测结果；船载智慧决策系统根据智能监测结果以及无线通信环境和业务类型的不同进行通信链路的自动选取和切换。本发明采用船基加岸基协同智能处理的方法并通过深度学习算法实现对船载采集的视频信息的初步处理，对少量存在问题的影像再通过卫星回传，再岸基融合更多信息进行人工加智能的深度处理来进行判别，实现对拖网渔船实时性监视及低带宽传输。