-
公开(公告)号:CN106599091B
公开(公告)日:2020-07-14
申请号:CN201611052842.7
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F16/13 , G06F16/182 , G06F16/22
Abstract: 本发明提供了一种基于键值存储的RDF图结构存储和索引方法,其包括以下步骤:步骤一,载入图数据并进行划分;步骤二,将图数据按照边的起始节点及谓词进行聚合,并插入到键值存储中;步骤三,将图数据按照边的终止节点及谓词进行聚合,并插入到键值存储中;步骤四,生成谓词到起始节点以及谓词到终止节点的映射,即索引,并插入到键值存储中。本发明提供更加细粒度的RDF数据访问,充分利用系统的局部性,提高系统性能。
-
公开(公告)号:CN111314440A
公开(公告)日:2020-06-19
申请号:CN202010069532.6
申请日:2020-01-21
Applicant: 上海交通大学
IPC: H04L29/08 , H04L12/26 , G06F16/901 , G06F16/9032
Abstract: 本发明提供了一种图结构数据上的环检测方法及系统,包括:代理服务器接收来自多个客户端的环检测请求;代理服务器根据环检测请求的时间戳,将接收的环检测请求进行批次划分;代理服务器向各服务器发送当前批次的图更新信息;服务器将接收到的当前批次的图更新信息按时间戳以日志结构保存在本地;代理服务器将当前批次的环检测请求分发给各服务器;服务器根据环检测请求进行环检测,在环检测过程中同时读取图存储以及日志结构中的图更新信息;服务器执行完当前批的所有环检测请求,按照日志结构中的图更新信息更新本地图数据。本发明能够进行高并发的批量处理,显著地提升了环检测系统的整体性能。
-
公开(公告)号:CN110609827A
公开(公告)日:2019-12-24
申请号:CN201910911854.8
申请日:2019-09-25
Applicant: 上海交通大学
Abstract: 本发明提供了一种面向分布式图数据库的数据动态迁移方法及系统,包括:由每台设备上的监控器收集数据的访问信息,将访问信息发送给一个共同的协调者,所述协调者根据访问信息与迁移策略生成迁移计划,并将迁移计划发送给每台设备上的迁移者,所述迁移者根据计划完成数据从设备中的起始端到目标端的迁移。本发明在支持细粒度迁移,即可以获得显著的性能提升的同时,避免了元数据开销;同时数据迁移十分灵活且不干扰其他操作。
-
公开(公告)号:CN109739836A
公开(公告)日:2019-05-10
申请号:CN201811640899.8
申请日:2018-12-29
Applicant: 上海交通大学
IPC: G06F16/21
Abstract: 本发明提供了一种用于多版本数据库选取和更新时间戳的方法和系统,初始化时间戳:将时间戳的物理时钟部分设置为当前机器的机器时钟,将时间戳的逻辑时钟部分置为0;更新时间戳:将待更新时间戳与当前时间戳进行大小比较,若待更新时间戳小于当前时间戳,则不进行时间戳更新;若待更新时间戳等于当前时间戳,则不进行时间戳更新,对当前时间戳的逻辑时钟部分进行增加;否则,则用待更新时间戳替换当前时间戳,且当前时间戳的逻辑时钟部分进行增加。和传统的时间戳相比,即能够表现更新和获取时间戳上的物理时间关系,也能够表现逻辑关系。在逻辑时钟更新的过程中,不会对物理时钟产生影响。
-
公开(公告)号:CN105938446B
公开(公告)日:2019-01-25
申请号:CN201610018490.7
申请日:2016-01-12
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于RDMA和HTM支持的数据复制容错方法,包括如下步骤:步骤1:在数据库事务提交时将事务修改的数据提交为一个中间的版本,使得其他执行中的事务可以检测到未完成备份的数据;步骤2:通过RDMA进行数据备份,数据备份完成后再将其修改的数据的版本修改为一个合法的版本;步骤3:在数据库事务的执行过程中,通过检测是否操作到中间版本的数据来保证这次事务执行的正确性。与现有的技术相比,本发明可以实现基于HTM和RDMA的并发控制方法,并提供相应的系统容错支持,同时不损失HTM和RDMA带来的并发控制的性能优势。
-
公开(公告)号:CN108762915A
公开(公告)日:2018-11-06
申请号:CN201810356556.2
申请日:2018-04-19
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本发明提供了一种在GPU内存中缓存RDF数据的方法,包括如下步骤:将RDF三元组数据集加载到内存中,以键值对形式存储成一张哈希表,哈希表被划分成多个区域;在GPU内存中分配一块区域用来缓存RDF数据,将内存区域划分成固定大小的块;对于每个谓词段,计算其需要多少个GPU内存块来存储其中的键值对数据;服务端接收查询请求,将查询请求分解成多个查询步骤;对于每个查询步骤的三元组,找到其中的谓词在哈希表中对应的谓词段,为其分配所需的GPU内存块;将谓词段中的键值对拷贝到GPU内存块中,并且将映射表中与该谓词段对应的信息拷贝到GPU内存中;在GPU上处理一个查询步骤时,通过映射表和映射函数找到某对特定的键值对在GPU内存中的存储位置,完成数据访问。
-
公开(公告)号:CN105446936B
公开(公告)日:2018-07-03
申请号:CN201510786705.5
申请日:2015-11-16
Applicant: 上海交通大学
IPC: G06F15/173 , G06F9/46
Abstract: 本发明提供了一种基于HTM和单向RDMA操作的分布式哈希表方法,步骤1:服务器端初始化内存键值系统,建立客户端和服务器端之间的连接;步骤2:客户端在服务器端的内存键值系统内读取存储目标值的键值对的主头部或者间接头部;步骤3:找到键对应的值在服务器端的具体位置,判断请求类型,若为读请求则读取具体的值,进入步骤6;若是写请求则发送单向RDMA的CAS请求,原子性地上锁;步骤4:发送单向RDMA读请求,把键对应的值读到本地;或者发送单向RDMA写请求,把值写到远端;步骤5:发送单向RDMA的写请求,释放远端的锁;步骤6:检查自增量是否一致。本发明能够在不影响服务器端性能的情况下,缩短键值请求的延迟,增大系统的吞吐量。
-
公开(公告)号:CN107659626A
公开(公告)日:2018-02-02
申请号:CN201710814016.X
申请日:2017-09-11
Applicant: 上海交通大学
IPC: H04L29/08
CPC classification number: H04L67/2804 , H04L67/1097 , H04L67/2842
Abstract: 本发明提供了一种面向临时元数据的分离存储方法,包括如下步骤:步骤一:数据源发送数据流,服务器接收数据流并识别每条数据对应的元数据;步骤二:服务器将流数据分发到其对应的服务器准备存储;步骤三:对于需要存储在本地的流数据,将其转化为若干键值对,插入到本地键值对存储系统,并记录插入的内存位置等信息;步骤四:将每条数据对应的元数据和键值对插入信息结合,插入到另一个对垃圾回收友好的本地存储系统;步骤五:将元数据和键值对插入信息按照一定策略拷贝到多台服务器上作为缓存。本发明避免删除元数据时造成大量数据搬移,从而提高存储系统工作效率。
-
公开(公告)号:CN106599095A
公开(公告)日:2017-04-26
申请号:CN201611056390.X
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F17/30
Abstract: 本发明提供了一种基于完整历史记录的减枝方法,包括步骤1:客户端发送查询请求,服务器接收查询请求;步骤2:服务器解析查询请求,将查询语句分解成小步执行;步骤3:根据查询小步执行查询过程,得出查询中间结果,对中间结果进行相应的减枝操作,分为简单减枝操作和根据完整历史记录减枝操作两种;步骤4:将减枝后结果和所有的历史结果一同加入新的历史记录表,传递给下一小步查询用来继续减枝。与现有技术相比,本发明能够根据完整历史记录,尽早的剔除无用的中间结果,且充分考虑到了高性能网络(RDMA)的特性,减少通讯的开销,相比于传统的一步减枝法,能够避免开销巨大的最后结果合并操作,因此能极大的提升查询系统的性能。
-
公开(公告)号:CN114417066B
公开(公告)日:2024-12-24
申请号:CN202111678455.5
申请日:2021-12-31
Applicant: 上海交通大学
IPC: G06F16/901 , G06F16/903 , G06F16/9032 , G06F9/50
Abstract: 本发明提供了一种面向大规模时序RDF图数据的查询方法及系统,包括:步骤S1:采用键‑值存储方式将五元组格式的时序RDF图数据均匀地加载和存储到多台机器的内存中;步骤S2:在每台机器上创建若干个客户端线程和若干个工作线程;步骤S3:客户端线程接收用户的查询请求,并对用户的查询请求进行解析,将解析后的查询请求发送至相应机器的工作线程;步骤S4:工作线程执行查询任务得到最终查询结果;步骤S5:工作线程将查询结果返回至客户端线程。
-
-
-
-
-
-
-
-
-