-
公开(公告)号:CN114979270B
公开(公告)日:2023-08-25
申请号:CN202210579101.3
申请日:2022-05-25
Applicant: 上海交通大学
IPC: H04L67/566 , H04L67/55
Abstract: 本发明提供了一种适用于RDMA网络的消息发布方法及系统,涉及消息中间件技术领域,包括:消息中间件采用段链表式的内存存储结构存储消息,通过段地址和段内偏移定位一条消息,推送服务器根据消息地址可通过RDMA单边读获取消息内容,同时使用校验和检查消息完整性。本发明能够使得消息中间件能够利用高性能RDMA网络,从而达到更低的消息传递延迟、更高的传输带宽与节省CPU资源。
-
公开(公告)号:CN116541361A
公开(公告)日:2023-08-04
申请号:CN202310546086.7
申请日:2023-05-15
Applicant: 上海交通大学
IPC: G06F16/17 , G06F16/182 , G06F11/30 , G06F11/14
Abstract: 本发明提供了一种分布式文件系统的日志备份方法、系统及介质,涉及分布式文件系统技术领域,包括:步骤S1:获取文件操作信息并生成日志,将其持久化在非易失性内存上;步骤S2:判断目前网卡PCIe带宽的使用情况,选择直接在宿主机进行日志的复制备份或通过智能网卡卸载的方式进行日志的复制备份;步骤S3:将日志从非易失性内存的私有日志区域拷贝到公有日志区域,完成日志的发布过程;步骤S4:备份机器接收请求,同时将日志从非易失性内存的私有日志区域拷贝到公有日志区域;步骤S5:整个系统完成一次文件操作,进行下一个文件操作。本发明能更好的利用智能网卡和宿主机之间的带宽,能利用智能网卡的额外算力进行数据压缩以提升网络传输效率,同时不占用额外的宿主机处理器。
-
公开(公告)号:CN110908794B
公开(公告)日:2023-04-28
申请号:CN201910954294.4
申请日:2019-10-09
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本发明提供了一种基于任务窃取算法的任务窃取方法及系统,包括:步骤1:将系统中的各个线程按编号从小到大排列形成队列,并且队列首尾相连形成一个环;步骤2:针对当前线程,判断下一个线程的状态;若处于过载状态,则从过载线程的任务列队中窃取计算任务,若处于正常状态,则执行步骤A;步骤3:在本地执行步骤2窃取的计算任务,然后执行步骤2,继续查看过载线程的下一个线程的状态;步骤A:判断本地队列是否存在排队等待的计算任务,若列队非空,则执行当前线程列队中的计算任务;若列队为空,则完成了一次Ring Stealing过程。本发明可以让一个正常状态的线程分担多个过载线程的负载压力,减小请求的延时。
-
公开(公告)号:CN115114003A
公开(公告)日:2022-09-27
申请号:CN202210780174.9
申请日:2022-07-04
Applicant: 上海交通大学
Abstract: 本发明提供了一种GPU动态多任务可控并发执行方法及系统,包括:步骤S1:在程序编译阶段生成一个或多个proxy kernel作为待执行kernel的入口;步骤S2:在程序运行阶段,用户动态选择并发执行的待执行kernel;步骤S3:根据选择的待执行kernel所需要的寄存器数量,选择proxykernel提交到GPU中;步骤S4:用户通过proxykernel动态控制各个待执行kernel使用的计算单元数量,跳转到待执行kernel并执行。本发明通过proxy kernel为待执行kernel动态分配指定数量的计算单元,可以实现GPU程序运行阶段细粒度的计算单元分配。
-
公开(公告)号:CN114979270A
公开(公告)日:2022-08-30
申请号:CN202210579101.3
申请日:2022-05-25
Applicant: 上海交通大学
IPC: H04L67/566 , H04L67/55
Abstract: 本发明提供了一种适用于RDMA网络的消息发布方法及系统,涉及消息中间件技术领域,包括:消息中间件采用段链表式的内存存储结构存储消息,通过段地址和段内偏移定位一条消息,推送服务器根据消息地址可通过RDMA单边读获取消息内容,同时使用校验和检查消息完整性。本发明能够使得消息中间件能够利用高性能RDMA网络,从而达到更低的消息传递延迟、更高的传输带宽与节省CPU资源。
-
公开(公告)号:CN111538603B
公开(公告)日:2022-03-22
申请号:CN202010311855.1
申请日:2020-04-20
Applicant: 上海交通大学
Abstract: 本发明提供了一种机器学习和RDMA加速的键值存储读访问方法及系统,包括:步骤S1:采用机器学习模型来预测服务器端键值存储的位置,令客户端通过远程过程调用获取服务器端的学习完的模型;步骤S2:在客户端处理用户的键值请求时,令客户端首先通过获取的机器学习模型来预测键值请求的键所对应的地址,最后通过RDMA单向操作来读回请求的键所对应的值。本发明采用RDMA单向(one‑sided)操作来绕过服务器端CPU处理键值请求,有效的减少服务器端处理器的利用。
-
公开(公告)号:CN112003860B
公开(公告)日:2021-09-21
申请号:CN202010851056.3
申请日:2020-08-21
Applicant: 上海交通大学
Abstract: 本发明提供了一种适用于远程直接内存访问的内存管理方法、系统及介质,包括:步骤1:在发送端发送请求时,记录当前的水位值;步骤2:将当前的水位值加一;步骤3:将记录的水位值编码进RDMA请求中并发送;步骤4:将请求地址和记录的水位值存入缓存队列中;步骤5:检查网卡完成的发送请求,计算得到已完成请求的水位值;步骤6:判断缓存队列中队头记录的水位值是否小于等于已完成请求的水位值,如果是,则执行步骤7;如果不是,则结束;步骤7:释放队头记录的缓存;步骤8:将当前队头记录移出缓存列队,返回步骤6继续执行。本发明无需进行额外的内存拷贝,具有很小的管理开销,并杜绝了内存污染现象的出现,具有良好的可用性和性能。
-
公开(公告)号:CN109063191B
公开(公告)日:2021-07-06
申请号:CN201810995475.7
申请日:2018-08-29
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种在RDF数据集上进行OPTIONAL查询的方法,将RDF数据集加载到内存,与客户端建立网络通信,接收含OPTIONAL查询的查询请求;解析查询请求,将查询请求中的查询语句分解成主查询和OPTIONAL查询两部分;执行主查询,产生主查询结果;执行OPTIONAL查询的分组查询,产生分组查询结果,汇总分组查询结果得到OPTIONAL查询结果,将主查询结果、OPTIONAL查询结果结合形成最终查询结果,将最终查询结果发送客户端。本发明提出的在RDF数据集上进行OPTIONAL查询的方法,通过建立OPTIONAL匹配表,标记OPTIONAL变量,调整查询语句顺序,动态修正查询结果等技术,极大地提高了OPTIONAL查询效率,显著降低了查询处理的开销,加快了查询速度。
-
公开(公告)号:CN112905598A
公开(公告)日:2021-06-04
申请号:CN202110275558.0
申请日:2021-03-15
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/242 , G06F16/245
Abstract: 本发明提供了一种基于接口实现分离的图任务中间结果存储方法及系统,该方法包括:步骤S1:由服务器接受并解析客户端组合图任务请求中的查询任务与分析任务,发送给查询引擎执行;步骤S2:查询引擎确定中间结果使用的底层数据结构,执行查询任务,查询引擎将查询结果传递给分析引擎;步骤S3:使用定义的数据接口,构造分析算法使用的数据结构,并在构造出的数据结构上运行分析算法;步骤S4:使用数据接口将分析结果添加到原有的查询结果中,并将结果返回给客户端。本发明设计了一套统一的数据接口及不同种类的底层数据结构,减少了查询任务与分析任务之间的数据格式转换开销,使得在单一系统中可以进行高效的执行组合图任务。
-
公开(公告)号:CN106776815B
公开(公告)日:2020-07-14
申请号:CN201611053001.8
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F16/242
Abstract: 本发明公开了一种基于多模式切换的RDMA友好的SPARQL查询方法,其包括以下步骤:步骤一,收到消息并判断消息类型;步骤二,执行一步查询,用图遍历的方法找到新节点;步骤三,判断请求是否执行结束;步骤四,判断执行下一步需要的RDMA操作数是否大于等于临界值;步骤五,生成新的子请求,发给其他机器,记录等待的回复个数;步骤六,当所需RDMA操作数小于临界值时,直接读取远程的数据,完成下一步请求,回到步骤三。本发明能够利用高性能网络互联设备提供的远程直接内存访问模式,更合理地选择查询的执行模式,减少系统的通讯开销,提高复杂查询的并行度。
-
-
-
-
-
-
-
-
-