发明授权
- 专利标题: 一种大数据智能采集处理方法和系统
-
申请号: CN201911055837.5申请日: 2019-10-31
-
公开(公告)号: CN110765121B公开(公告)日: 2022-09-20
- 发明人: 张乔木 , 李雷
- 申请人: 上海意臣信息科技有限公司
- 申请人地址: 上海市闵行区虹梅南路1755号一幢一层EE1004室
- 专利权人: 上海意臣信息科技有限公司
- 当前专利权人: 上海意臣信息科技有限公司
- 当前专利权人地址: 上海市闵行区虹梅南路1755号一幢一层EE1004室
- 代理机构: 合肥左心专利代理事务所
- 代理商 董高正
- 主分类号: G06F16/215
- IPC分类号: G06F16/215
摘要:
大数据智能采集处理方法,包括以下步骤:S1.设置第一数据库和第二数据库;S2.设置网络智能机器人,获得采集数据;S3.将采集数据逐条同第一数据库中数据进行对比,将数据A存入第一数据库;否则将数据A存入第二数据库;S4.将数据A存入所述第二数据库时,进行相似度γ计算;S41.当相似度γ大于阈值β时,则将数据A,替换相似度γ最高的一条数据;S42.否则将数据A直接存入第二数据库;S5.超过时间阈值δ时,将第二数据库中的数据存入第一数据库,同时清除第二数据库中数据;S6.将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
公开/授权文献
- CN110765121A 一种大数据智能采集处理方法和系统 公开/授权日:2020-02-07