本发明公开了一种海量短文本去重方法及系统，第一步，通过对文本进行预处理，便于后续计算；第二步，使用MinHash方案，将文本编码为MinHash向量；第三步，将第二步中生成的MinHash向量存储到MinHash向量库，MinHash向量库分为临时向量库和持久向量库中；第四步设置多级距离阈值，并利用分桶技术，对MinHash向量库建立索引；第五步，缓存流式数据，并在积累一定数据之后形成批数据，并对批数据进行去重分析，结束流程。本发明解决了现有技术对短文本定位不准确、对向量的存储成本和召回计算成本太高的问题。