-
公开(公告)号:CN112905598B
公开(公告)日:2022-06-28
申请号:CN202110275558.0
申请日:2021-03-15
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/242 , G06F16/245
Abstract: 本发明提供了一种基于接口实现分离的图任务中间结果存储方法及系统,该方法包括:步骤S1:由服务器接受并解析客户端组合图任务请求中的查询任务与分析任务,发送给查询引擎执行;步骤S2:查询引擎确定中间结果使用的底层数据结构,执行查询任务,查询引擎将查询结果传递给分析引擎;步骤S3:使用定义的数据接口,构造分析算法使用的数据结构,并在构造出的数据结构上运行分析算法;步骤S4:使用数据接口将分析结果添加到原有的查询结果中,并将结果返回给客户端。本发明设计了一套统一的数据接口及不同种类的底层数据结构,减少了查询任务与分析任务之间的数据格式转换开销,使得在单一系统中可以进行高效的执行组合图任务。
-
公开(公告)号:CN113448897A
公开(公告)日:2021-09-28
申请号:CN202110786480.9
申请日:2021-07-12
Applicant: 上海交通大学
Abstract: 本发明提供了一种适用于纯用户态远端直接内存访问的数组结构及优化方法,先在本地机器上分配连续的内存空间来存储多个内存指针,该指针根据使用场景不同,可以指向本地内存地址和远端服务器内存地址。在使用迭代器访问数据结构的时候,通过网络将对应的远端内存数据拷贝到本地内存以供读写。在访问结束后,通过网络将本地更新数据写回远端服务器。与现有技术相比,本发明具有低网络时延、纯用户态、抽象简单易用等特点,并且采用远端直接内存访问技术,可以绕过内存服务器中央处理器进行网络请求读写,不会增加额外的操作系统内核开销,具有良好的扩展性。
-
公开(公告)号:CN111314440B
公开(公告)日:2021-08-17
申请号:CN202010069532.6
申请日:2020-01-21
Applicant: 上海交通大学
IPC: H04L29/08 , H04L12/26 , G06F16/901 , G06F16/9032
Abstract: 本发明提供了一种图结构数据上的环检测方法及系统,包括:代理服务器接收来自多个客户端的环检测请求;代理服务器根据环检测请求的时间戳,将接收的环检测请求进行批次划分;代理服务器向各服务器发送当前批次的图更新信息;服务器将接收到的当前批次的图更新信息按时间戳以日志结构保存在本地;代理服务器将当前批次的环检测请求分发给各服务器;服务器根据环检测请求进行环检测,在环检测过程中同时读取图存储以及日志结构中的图更新信息;服务器执行完当前批的所有环检测请求,按照日志结构中的图更新信息更新本地图数据。本发明能够进行高并发的批量处理,显著地提升了环检测系统的整体性能。
-
公开(公告)号:CN111538603A
公开(公告)日:2020-08-14
申请号:CN202010311855.1
申请日:2020-04-20
Applicant: 上海交通大学
Abstract: 本发明提供了一种机器学习和RDMA加速的键值存储读访问方法及系统,包括:步骤S1:采用机器学习模型来预测服务器端键值存储的位置,令客户端通过远程过程调用获取服务器端的学习完的模型;步骤S2:在客户端处理用户的键值请求时,令客户端首先通过获取的机器学习模型来预测键值请求的键所对应的地址,最后通过RDMA单向操作来读回请求的键所对应的值。本发明采用RDMA单向(one-sided)操作来绕过服务器端CPU处理键值请求,有效的减少服务器端处理器的利用。
-
公开(公告)号:CN108710638B
公开(公告)日:2020-06-12
申请号:CN201810333653.X
申请日:2018-04-13
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于混合RDMA操作的分布式并发控制方法及系统,在读取远端地址已被缓存的数据、远端数据时间戳以及向远端写入事务日志时,使用RDMA的单边操作;在读取远端地址未被缓存的数据、申请远端数据锁、提交远端事务、释放远端数据锁时,使用RDMA的双边操作。与现有技术相比,本发明根据分布式并发控制协议中不同步骤的特征,针对性地使用适合的RDMA操作完成对于远程数据的访问,通过混合使用RDMA操作优化分布式并发控制过程中网络硬件和处理器硬件的使用效率。
-
公开(公告)号:CN110825734A
公开(公告)日:2020-02-21
申请号:CN201910954300.6
申请日:2019-10-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种平衡树的并发更新方法及读写系统,包括:在定位阶段将更新平衡树的请求在叶子节点进行缓存,再将平衡树的结构调整推迟到平衡阶段将任务划分给不同工作线程执行。本发明可以减少冗余的耗时操作和请求以节省CPU资源,充分利用任务并行和数据并行以提升更新平衡树的性能,提升在并发更新情况下平衡树更新的性能和读写并发情况下的平衡树查询性能。
-
公开(公告)号:CN105512342B
公开(公告)日:2019-03-26
申请号:CN201610005809.2
申请日:2016-01-05
Applicant: 上海交通大学
IPC: G06F16/90
Abstract: 本发明提供了一种基于HTM和NVRAM的内存事务性计算的持久性方法,包括:步骤1:分配NVRAM,并用分配的NVRAM记录HTM执行的事务中修改的数据;步骤2:检查是否需要清理NVRAM,若需要清理,则将该NVRAM的数据写回到磁盘。本发明利用NVRAM和HTM的特性,使得事务性的程序不需要将数据记录到磁盘即可以返回,这样可以低延迟的实现内存事务计算的持久性。本发明能够显著降低数据库系统事务执行的延迟,提升数据库系统的资源利用率以及应用服务的性能。
-
公开(公告)号:CN109063191A
公开(公告)日:2018-12-21
申请号:CN201810995475.7
申请日:2018-08-29
Applicant: 上海交通大学
IPC: G06F17/30
Abstract: 本发明提供了一种在RDF数据集上进行OPTIONAL查询的方法,将RDF数据集加载到内存,与客户端建立网络通信,接收含OPTIONAL查询的查询请求;解析查询请求,将查询请求中的查询语句分解成主查询和OPTIONAL查询两部分;执行主查询,产生主查询结果;执行OPTIONAL查询的分组查询,产生分组查询结果,汇总分组查询结果得到OPTIONAL查询结果,将主查询结果、OPTIONAL查询结果结合形成最终查询结果,将最终查询结果发送客户端。本发明提出的在RDF数据集上进行OPTIONAL查询的方法,通过建立OPTIONAL匹配表,标记OPTIONAL变量,调整查询语句顺序,动态修正查询结果等技术,极大地提高了OPTIONAL查询效率,显著降低了查询处理的开销,加快了查询速度。
-
公开(公告)号:CN105955801B
公开(公告)日:2018-12-18
申请号:CN201510969282.0
申请日:2015-12-21
Applicant: 上海交通大学
IPC: G06F9/46
Abstract: 本发明提供了一种基于RDMA和HTM的分布式乐观并发控制方法,不需要预先获取事务访问的数据集,不需要预先对事务进行切分。该控制方法将事务的运行划分为两个阶段:执行阶段和提交阶段。采用乐观并发控制与锁保护相结合的方法,在事务的执行阶段动态维护读写集合,从而不需要预先获知事务的数据集;在事务的提交阶段进行先验证再提交,从而不需要预先对事务进行切分。本发明使用RDMA和HTM两种最新的硬件简化并发控制方法的设计,去中心化的分布式设计使得本发明具有良好的扩展性,可以方便地根据需求调整机器的数量,为高效处理超大规模的并发事务提供了通用可行的解决方案。
-
公开(公告)号:CN104410681B
公开(公告)日:2017-08-01
申请号:CN201410674680.5
申请日:2014-11-21
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于远程直接内存访问的虚拟机动态迁移优化方法,包括以下步骤:步骤一,在预拷贝阶段的开始,源虚拟机向目标虚拟机传递用于标识内存变化情况的同步拷贝信息;步骤二,完成拷贝信息传递后,源虚拟机继续执行上层应用服务;步骤三,目标虚拟机向源虚拟机发送回执消息;步骤四,源虚拟机向目标虚拟机发送服务切换消息;步骤五,目标虚拟机采用按需恢复策略,利用RDMA模式在后台完成远程读取最后的脏页数据;步骤六,目标虚拟机完成最后的脏页同步后,向源虚拟机发送迁移完成信息;源虚拟机释放所有资源。本发明缩短虚拟机动态迁移的整体迁移时间和服务中断时间,同时减轻由于动态迁移对上层应用服务造成的影响。
-
-
-
-
-
-
-
-
-