-
公开(公告)号:CN118642658A
公开(公告)日:2024-09-13
申请号:CN202410859077.8
申请日:2024-06-28
Applicant: 上海交通大学
IPC: G06F3/06 , H04L67/1097
Abstract: 本发明提供了一种适用于簇索引的基于远端内存的分组存储方法及系统,包括:步骤S1:采用簇访问感知的向量分组技术存储向量,完成分组后启动系统服务;步骤S2:系统读簇时通过一次I/O请求读取簇的分组内向量数据和分组外向量地址,再发起多个独立的I/O请求读取所有的分组外向量。本发明的方法不破坏算法语义,保证向量搜索算法读到的向量和原本的实现一致,所以不同的聚类算法能很容易使用本发明优化实现;本发明遵循解耦合存储思想,通过存地址代替存数据降低了向量索引的存储压力。
-
公开(公告)号:CN114860729B
公开(公告)日:2024-07-26
申请号:CN202210515138.X
申请日:2022-05-11
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/2455 , G06F16/28 , G06F16/2457
Abstract: 本发明提供了一种基于图结构索引的关系型数据连接方法及系统,该方法采用一种能够保存关系型数据之间关系的图结构索引,通过这种图结构索引进行匹配数据的筛选以及数据的定位,完成连接操作。与现有技术相比,本发明可以减少连接操作筛选过程中的复杂操作和数据读取,提升连接操作性能,同时图结构索引的使用开销和构建开销相比现有连接方法中的索引有所减少。本发明基于图结构索引的连接方法,相比原来的索引结构,更能表达数据之间的关系,提高连接过程中筛选效率,减少无用数据的读取,达到服务高效的目的;在图结构索引使用过程中,相比树状索引和哈希索引避免复杂的计算操作,只需要对图结构索引进行读取,额外的时间成本小。
-
公开(公告)号:CN118132670A
公开(公告)日:2024-06-04
申请号:CN202410236024.0
申请日:2024-03-01
Applicant: 上海交通大学
Abstract: 本发明提供了一种时序超图数据的存储和查询方法及系统,所述时序超图中包含顶点和时序超边,所述时序超边为连接任意数量顶点且具有类型和有效时间区间标注的边,所述存储方法包括以下步骤:获取时序超边的原始数据,包括时序超边在所述时序超图中连接的顶点、时序超边类型和有效时间区间;为各顶点、时序超边和时序超边类型编号;依据所述时序超边的原始数据构造键值对和时序超边元数据;将所述键值对逐一存入分布式键值存储中;将所述时序超边元数据分别按照有效时间区间的开始时间和截止时间升序排序后,分别存入时序超边元数据存储一和时序超边元数据存储二。
-
公开(公告)号:CN116149795A
公开(公告)日:2023-05-23
申请号:CN202310215218.8
申请日:2023-03-06
Applicant: 上海交通大学
IPC: G06F9/455
Abstract: 本发明提供了一种基于RDMA的虚拟机分布式Fork方法,包括:在虚拟机打包执行状态过程中,对目标的虚拟机的内存内容以及模拟的硬件状态进行打包,存储于文件中;在虚拟机执行状态恢复过程中,利用用户态程序使用RDMA处理虚拟机的缺页错误;具体为:父虚拟机所在物理机执行虚拟机打包执行状态过程,返回打包虚拟机的标识或打包失败的错误;若虚拟机执行状态打包成功,则子虚拟机所在物理机通过父虚拟机所在物理机的标识以及打包虚拟机的标识,执行虚拟机状态恢复过程,完成分布式Fork的过程。本发明实现了按需传输虚拟机内存镜像的功能,降低了虚拟机内存镜像传输的时间开销,从而降低了虚拟机分布式Fork的时延。
-
公开(公告)号:CN110874290B
公开(公告)日:2023-05-23
申请号:CN201910954875.8
申请日:2019-10-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种分布式内存数据库的事务分析混合处理方法及数据库,包括:在主节点上处理事务处理的请求,在备份节点上处理分析处理的请求,并且主节点和备份节点的同步,复用原有的容错数据同步的协议。本发明可以充分利用原有的事务型数据库的容错协议和数据备份支持分布式的事务与分析混合处理,达到高资源利用率的效果,同时可以保持原来事务型数据库和分析型数据库的性能,达到达到服务高效的目的,保证了数据的新鲜度。
-
公开(公告)号:CN115952323A
公开(公告)日:2023-04-11
申请号:CN202211674509.5
申请日:2022-12-26
Applicant: 上海交通大学
IPC: G06F16/901 , G06F16/903 , G06F9/50 , G06F15/173
Abstract: 本发明提供了一种对大规模超图的查询方法及系统,包括数据加载步骤:采用分布式的方法加载并划分超图数据,并用键值对形式存储加载到内存中的超图数据;线程启动步骤:启动一个或多个代理线程以及工作线程;解析步骤:代理线程接收来自用户的超图查询请求,并对用户的查询请求进行解析,将解析后得到的超图查询任务派发给工作线程;查询步骤:工作线程收到超图查询任务后,将超图查询任务中的超图模式逐步执行得到查询结果,将查询结果返回给代理线程;反馈步骤:代理线程将查询结果返回给用户。本发明能够快速计算出当前查询所需数据所在的位置,能够更好的复用原系统的模块,也提升了超图数据的查询性能。
-
公开(公告)号:CN113448897B
公开(公告)日:2022-09-06
申请号:CN202110786480.9
申请日:2021-07-12
Applicant: 上海交通大学
Abstract: 本发明提供了一种适用于纯用户态远端直接内存访问的数组结构及优化方法,先在本地机器上分配连续的内存空间来存储多个内存指针,该指针根据使用场景不同,可以指向本地内存地址和远端服务器内存地址。在使用迭代器访问数据结构的时候,通过网络将对应的远端内存数据拷贝到本地内存以供读写。在访问结束后,通过网络将本地更新数据写回远端服务器。与现有技术相比,本发明具有低网络时延、纯用户态、抽象简单易用等特点,并且采用远端直接内存访问技术,可以绕过内存服务器中央处理器进行网络请求读写,不会增加额外的操作系统内核开销,具有良好的扩展性。
-
公开(公告)号:CN112148930A
公开(公告)日:2020-12-29
申请号:CN202011041143.9
申请日:2020-09-28
Applicant: 上海交通大学
IPC: G06F16/901 , G06F16/903
Abstract: 本发明公开了一种基于RTM的图数据库系统事务处理的方法,其包括步骤:S1:使用RTM进行事务处理提交;S2:判断事务提交是否成功,当判断结果为成功时,则完成事务处理;当判断结果为不成功时,则进入步骤S3:S3:对尝试次数进行判断,当尝试次数大于等于指定次数时,使用回退方法进行事务处理,以完成指定事务的处理;当尝试次数小于指定次数时,回到步骤S1。此外,本发明公开了上述基于RTM的图数据库系统事务处理的系统以及一种存储有计算机程序的计算机可读存储介质。本发明通过使用RTM来完成绝大部分事务,相比于传统锁机制存在的大量开销和不足,本发明实现了更好的图数据库性能、可扩展性以及增加系统的吞吐量。
-
公开(公告)号:CN106599095B
公开(公告)日:2020-07-14
申请号:CN201611056390.X
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F16/9532
Abstract: 本发明提供了一种基于完整历史记录的减枝方法,包括步骤1:客户端发送查询请求,服务器接收查询请求;步骤2:服务器解析查询请求,将查询语句分解成小步执行;步骤3:根据查询小步执行查询过程,得出查询中间结果,对中间结果进行相应的减枝操作,分为简单减枝操作和根据完整历史记录减枝操作两种;步骤4:将减枝后结果和所有的历史结果一同加入新的历史记录表,传递给下一小步查询用来继续减枝。与现有技术相比,本发明能够根据完整历史记录,尽早的剔除无用的中间结果,且充分考虑到了高性能网络(RDMA)的特性,减少通讯的开销,相比于传统的一步减枝法,能够避免开销巨大的最后结果合并操作,因此能极大的提升查询系统的性能。
-
公开(公告)号:CN110874290A
公开(公告)日:2020-03-10
申请号:CN201910954875.8
申请日:2019-10-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种分布式内存数据库的事务分析混合处理方法及数据库,包括:在主节点上处理事务处理的请求,在备份节点上处理分析处理的请求,并且主节点和备份节点的同步,复用原有的容错数据同步的协议。本发明可以充分利用原有的事务型数据库的容错协议和数据备份支持分布式的事务与分析混合处理,达到高资源利用率的效果,同时可以保持原来事务型数据库和分析型数据库的性能,达到达到服务高效的目的,保证了数据的新鲜度。
-
-
-
-
-
-
-
-
-