-
公开(公告)号:CN107038260B
公开(公告)日:2020-03-10
申请号:CN201710390469.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F16/215 , G06F16/23 , G06F16/2457 , G06F16/25
摘要: 本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
-
公开(公告)号:CN107066450A
公开(公告)日:2017-08-18
申请号:CN201710391483.6
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明公开了一种基于学习的即时通信会话切分技术与方法,属于大数据分析领域;将即时通信会话用户两两划分为一组,并将每组的会话话单明细进行分类和基于时间排序;会话切分为:依次选取相邻两条话单R1和R2,计算时间间隔Δt,文本内容相似度Δsim和距离值F(R1,R2);如果F(R1,R2)
-
公开(公告)号:CN107220347A
公开(公告)日:2017-09-29
申请号:CN201710390490.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于Lucene的支持表达式的自定义相关度排序算法,属于计算机技术领域。所述算法包括:用表达式解析模块对用户输入的表达式进行合法性检查,并转化为系统可以计算的形式;表达式计算模块根据表达式中的参数,在Lucene索引中提取出相应字段进行计算;相关度排序模块对表达式的计算结果进行排序;最后用结果整合模块对各数据节点返回的计算结果进行整合,将最终自定义表达式的排序结果返回给用户。本发明支持多字段间进行表达式计算,并按照其进行排序,优于单纯的文档打分排序机制,而且该发明支持更多的函数计算,且该算法适用于分布式的大数据平台上。
-
公开(公告)号:CN107194804A
公开(公告)日:2017-09-22
申请号:CN201710391332.0
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明公开了一种P2P网贷数据自动化核验方法,包括步骤一:数据接入,步骤二:数据接入自动化审核,步骤三:数据API自动化接入,步骤四:完成自动化数据核验,本发明中数据多重核验全自动化进行,安全、智能;本发明的方法,具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN107067322A
公开(公告)日:2017-08-18
申请号:CN201710390471.1
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
CPC分类号: G06Q40/025 , H04L67/104
摘要: 本发明公开了一种应用于P2P网络借贷企业数据接入模型的系统及方法;系统分为三个模块:数据接入模块、数据预处理模块和数据加载存储模块;数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范;数据预处理模块完成数据完整性和有效性校验,建立各类数据完整性和有效性校验规则,并对数据进行去重和修正操作;数据加载存储模块完成大规模数据安全存储技术,为数据分析建模提供安全而方便的数据支撑服务;本发明的优点在于:可以对大量网络借贷平台中的异构数据形成规范和统一的标准,并进行规范、安全、稳定的数据接入,为P2P网络借贷平台监管奠定数据基础。
-
公开(公告)号:CN107194804B
公开(公告)日:2020-07-28
申请号:CN201710391332.0
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明公开了一种P2P网贷数据自动化核验方法,包括步骤一:数据接入,步骤二:数据接入自动化审核,步骤三:数据API自动化接入,步骤四:完成自动化数据核验,本发明中数据多重核验全自动化进行,安全、智能;本发明的方法,具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN107193986B
公开(公告)日:2020-06-12
申请号:CN201710391391.8
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F16/953 , G06Q40/06
摘要: 本发明公开了一种互联网金融数据公众查验方法,属于数据处理技术领域。所述方法包括个人投资数据查询、漏报补充、错报纠正和企业运营指数统计。采用本发明提供的方法,可证实公众用户在互联网金融企业投资过,且被国家权威部门正常监测到;为国家提供了对互联网金融企业投资理财风险监测的技术支持平台;为互联网金融投资用户提供了一个可以参考、可以跟踪投资的国家权威入口,帮助互联网用户安全理财,理性理财,降低投资风险。本发明具有很强的实用性和推广性,帮助互联网金融投资用户安全理财,具有很广泛的应用前景。
-
公开(公告)号:CN107220892A
公开(公告)日:2017-09-29
申请号:CN201710392181.0
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06Q40/02
摘要: 本发明公开了一种应用于海量P2P网贷金融数据智能预处理工具及方法,可以对海量P2P网贷金融数据在存储到标准金融业务数据库之前,进行准确、高效地预处理,确保数据的准确性及有效性,从而建立P2P网络借贷平台有效监测机制,有效加强对P2P网络借贷平台的监管。预处理包括建立有效性及完整性校验规则,实现入库前的数据校验;以及数据分类、数据去重、数据修正、数据转换、状态计算,实现入库前的数据处理;最终将数据加载入标准金融业务数据库。
-
公开(公告)号:CN107193986A
公开(公告)日:2017-09-22
申请号:CN201710391391.8
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明公开了一种互联网金融数据公众查验方法,属于数据处理技术领域。所述方法包括个人投资数据查询、漏报补充、错报纠正和企业运营指数统计。采用本发明提供的方法,可证实公众用户在互联网金融企业投资过,且被国家权威部门正常监测到;为国家提供了对互联网金融企业投资理财风险监测的技术支持平台;为互联网金融投资用户提供了一个可以参考、可以跟踪投资的国家权威入口,帮助互联网用户安全理财,理性理财,降低投资风险。本发明具有很强的实用性和推广性,帮助互联网金融投资用户安全理财,具有很广泛的应用前景。
-
公开(公告)号:CN107220892B
公开(公告)日:2020-10-16
申请号:CN201710392181.0
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06Q40/02
摘要: 本发明公开了一种应用于海量P2P网贷金融数据智能预处理工具及方法,可以对海量P2P网贷金融数据在存储到标准金融业务数据库之前,进行准确、高效地预处理,确保数据的准确性及有效性,从而建立P2P网络借贷平台有效监测机制,有效加强对P2P网络借贷平台的监管。预处理包括建立有效性及完整性校验规则,实现入库前的数据校验;以及数据分类、数据去重、数据修正、数据转换、状态计算,实现入库前的数据处理;最终将数据加载入标准金融业务数据库。
-
-
-
-
-
-
-
-
-