-
公开(公告)号:CN107291807A
公开(公告)日:2017-10-24
申请号:CN201710343003.9
申请日:2017-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于图遍历的SPARQL查询优化方法。本方法为:1)使用属性图表示RDF数据中三元组,然后利用Bigtable模型存储RDF数据,得到RDF数据对应的Bigtable数据;2)将SPARQL查询转化对RDF属性图的遍历;3)根据步骤2)获得的遍历序列,遍历Bigtable数据中满足条件的所有节点,完成SPARQL查询。本发明一方面消除了传统SPARQL查询对Hash等数据结构的依赖,减少了中间数据的产生,避免了大规模RDF数据的连接计算;另一方面,能有效利用基于Bigtable的大数据处理技术存储和管理RDF海量关联知识网络数据,加速RDF关联数据的查询和分析。
-
公开(公告)号:CN106570565A
公开(公告)日:2017-04-19
申请号:CN201611020935.1
申请日:2016-11-21
Applicant: 中国科学院计算机网络信息中心
IPC: G06N3/08
CPC classification number: G06N3/08
Abstract: 本发明提供一种面向大数据的深度学习方法及系统,该系统包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库;所述大数据引擎Spark将待处理数据进行数据处理;所述Protobuf工具将Spark处理后的数据序列化;所述轻量级数据存储LMDB将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织;所述Caffe深度学习Solver中每个节点的Caffe Solver通过LMDB访问该节点待训练的数据,并执行深度网络训练;所述MPI通信库聚合不同节点Caffe深度学习Solver的计算结果。
-
公开(公告)号:CN107291807B
公开(公告)日:2020-10-16
申请号:CN201710343003.9
申请日:2017-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/2453 , G06F16/245
Abstract: 本发明公开了一种基于图遍历的SPARQL查询优化方法。本方法为:1)使用属性图表示RDF数据中三元组,然后利用Bigtable模型存储RDF数据,得到RDF数据对应的Bigtable数据;2)将SPARQL查询转化对RDF属性图的遍历;3)根据步骤2)获得的遍历序列,遍历Bigtable数据中满足条件的所有节点,完成SPARQL查询。本发明一方面消除了传统SPARQL查询对Hash等数据结构的依赖,减少了中间数据的产生,避免了大规模RDF数据的连接计算;另一方面,能有效利用基于Bigtable的大数据处理技术存储和管理RDF海量关联知识网络数据,加速RDF关联数据的查询和分析。
-
-