一种大数据智能采集处理方法和系统
摘要:
大数据智能采集处理方法,包括以下步骤:S1.设置第一数据库和第二数据库;S2.设置网络智能机器人,获得采集数据;S3.将采集数据逐条同第一数据库中数据进行对比,将数据A存入第一数据库;否则将数据A存入第二数据库;S4.将数据A存入所述第二数据库时,进行相似度γ计算;S41.当相似度γ大于阈值β时,则将数据A,替换相似度γ最高的一条数据;S42.否则将数据A直接存入第二数据库;S5.超过时间阈值δ时,将第二数据库中的数据存入第一数据库,同时清除第二数据库中数据;S6.将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
公开/授权文献
0/0