公开(公告)号：CN111666267A

公开(公告)日：2020-09-15

申请号：CN201910165555.4

申请日：2019-03-05

Applicant: 国家计算机网络与信息安全管理中心 ,  北京梆梆安全科技有限公司

Inventor： 杨菁林 ,  唐积强 ,  吴震 ,  贺敏 ,  施力 ,  郭富民 ,  毛洪亮 ,  邓凌峰 ,  赵震

IPC: G06F16/215

Abstract: 本申请公开了一种数据清洗方法、装置及终端设备，该方法包括：获取待存入数据库的目标数据的数据标识；将所述目标数据的数据标识插入Redis存储系统的set集合，其中所述set集合中包括所述数据库中各数据分别对应的数据标识；当所述目标数据的数据标识插入失败时，删除所述目标数据。本申请解决了现有技术的数据清洗方式去重效率低，且难以在数据量级较大的场景下使用的问题。

公开(公告)号：CN110032674A

公开(公告)日：2019-07-19

申请号：CN201910099500.8

申请日：2019-01-31

Applicant: 北京梆梆安全科技有限公司

Inventor： 阚志刚 ,  陈彪 ,  赵震 ,  邓凌峰 ,  吴杨 ,  彭文波

IPC: G06F16/951

Abstract: 本申请公开了一种数据提取方法、装置、服务器及存储介质，该方法包括：获取原始数据名称与目标数据名称的对应关系列表及原始数据，该原始数据包括原始数据名称及该原始数据名称对应的数据值；基于该对应关系列表，从该原始数据中提取该原始数据名称对应的数据值；存储提取的该数据值，存储的该数据值作为目标数据名称对应的目标数据。本申请实施例提供的数据提取方法及装置，通过利用原始数据名称与目标数据名称的对应关系列表，实现了目标数据的批量提取，提高了数据提取效率及准确率。