-
公开(公告)号:CN107038260A
公开(公告)日:2017-08-11
申请号:CN201710390469.4
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
-
公开(公告)号:CN106066843A
公开(公告)日:2016-11-02
申请号:CN201610384154.4
申请日:2016-06-02
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: G06F13/423 , G06F2213/0024 , H03M7/14
Abstract: 本发明公开了一种高速Base64并行编解码装置,其特征在于,包括用于数据理的编码模块和解码模块,其中编码模块包括:至少一个数据接收模块,至少一个编码控制模块,至少一个数据发送模块,解码模块包括:至少一个数据接收模块,至少一个解码控制模块,至少一个数据发送模块;本发明基于FPGA平台,实现了Base64编解码的16字节的并行处理,提升了Base64编解码的效率,并有效降低了CPU的资源消耗。
-