本发明公开了一种基于深度学习的语义端点检测系统，涉及语义端点检测技术领域，解决了现有技术中语音端点检测不准的技术问题；包括：音频信息采集模块、语音特征提取模块、音频片段能量判断模块、信息提取触发器、单轮语义端点检测模块、多轮语义端点检测模块、语音语义多模态端点检测模块以及语音语义端点检测汇总模块；本发明在端点检测中，分别对单轮、多轮和序列化的对话进行语义分析，使端点检测不仅有语音的声学特征还同时具有语义特征，真正做到了智能化、拟人化的端点检测，极大提升了人机对话的流畅度和智能度。