拓展单机图神经网络训练至分布式训练方法、系统及介质

    公开(公告)号:CN112149808A

    公开(公告)日:2020-12-29

    申请号:CN202011043369.2

    申请日:2020-09-28

    Abstract: 本发明公开了一种拓展单机图神经网络训练至分布式训练的方法,该方法通过提供图划分和数据同步拓展的功能,利用具有自动反向传播的单机图神经网络框架,只需要在原有单机图神经网络模型代码中增加少量的数据同步代码,再将大图划分至多台服务器,可以在不修改单机图神经网络框架以及不修改原有单机图神经网络模型计算逻辑的情况下,使用多台服务器实现与单机图神经网络训练等价的分布式大图训练。此外,本发明还公开了一种拓展单机图神经网络训练至分布式训练的系统。另外,本发明公开了一种存储有计算机程序的计算机可读存储介质。

    基于机器学习的并发控制方法及系统

    公开(公告)号:CN112100188A

    公开(公告)日:2020-12-18

    申请号:CN202010905883.6

    申请日:2020-09-01

    Abstract: 本发明提供了一种基于机器学习的并发控制方法及系统,包括:将待执行事务进行初始化,并标记状态为执行中;判定执行中的事务是否存在未执行操作,若存在则查询操作执行策略继续执行,判断是否进行提前校验并执行对应操作;若不存在则根据当前事务的提交策略进行事务校验并提交;对事务累积的读操作进行正确性验证;查询事务的提交策略,根据提交策略和本事务建立的事务依赖关系进行等待操作直到事务依赖关系满足预设条件,对事务的读操作的集合进行正确性校验。本发明允许事务根据机器学习的训练结果进行任意行为的数据库操作,充分匹配不同应用场景的特点,最大程度提升系统的灵活性。

    适用于远程直接内存访问的内存管理方法、系统及介质

    公开(公告)号:CN112003860A

    公开(公告)日:2020-11-27

    申请号:CN202010851056.3

    申请日:2020-08-21

    Abstract: 本发明提供了一种适用于远程直接内存访问的内存管理方法、系统及介质,包括:步骤1:在发送端发送请求时,记录当前的水位值;步骤2:将当前的水位值加一;步骤3:将记录的水位值编码进RDMA请求中并发送;步骤4:将请求地址和记录的水位值存入缓存队列中;步骤5:检查网卡完成的发送请求,计算得到已完成请求的水位值;步骤6:判断缓存队列中队头记录的水位值是否小于等于已完成请求的水位值,如果是,则执行步骤7;如果不是,则结束;步骤7:释放队头记录的缓存;步骤8:将当前队头记录移出缓存列队,返回步骤6继续执行。本发明无需进行额外的内存拷贝,具有很小的管理开销,并杜绝了内存污染现象的出现,具有良好的可用性和性能。

    一种查询任务通信方法及系统

    公开(公告)号:CN109062929B

    公开(公告)日:2020-11-06

    申请号:CN201810596030.1

    申请日:2018-06-11

    Abstract: 本发明提供了一种查询任务通信方法及系统,包括:在接收到的查询请求的服务器解析查询请求,将查询请求中的查询语句分解成多个子步骤,子步骤的相关信息属于查询任务的元数据;从多个子步骤的第一个子步骤开始逐步处理查询请求,得到查询中间结果;若下一个子步骤依赖的数据在远端服务器,则将查询中间结果和查询任务的元数据分别通过GPUDirect RDMA和RDMA的方式发送给远端的服务器,远端服务器根据接收到的查询中间结果和查询任务的元数据继续处理查询请求的子步骤。本发明降低了整个通信过程的开销、避免了网络资源的争用且提高了整个查询系统的性能。

    面向临时元数据的分离存储方法

    公开(公告)号:CN107659626B

    公开(公告)日:2020-09-15

    申请号:CN201710814016.X

    申请日:2017-09-11

    Abstract: 本发明提供了一种面向临时元数据的分离存储方法,包括如下步骤:步骤一:数据源发送数据流,服务器接收数据流并识别每条数据对应的元数据;步骤二:服务器将流数据分发到其对应的服务器准备存储;步骤三:对于需要存储在本地的流数据,将其转化为若干键值对,插入到本地键值对存储系统,并记录插入的内存位置等信息;步骤四:将每条数据对应的元数据和键值对插入信息结合,插入到另一个对垃圾回收友好的本地存储系统;步骤五:将元数据和键值对插入信息按照一定策略拷贝到多台服务器上作为缓存。本发明避免删除元数据时造成大量数据搬移,从而提高存储系统工作效率。

    基于非易失性内存的新型混合内存垃圾回收方法及系统

    公开(公告)号:CN111309645A

    公开(公告)日:2020-06-19

    申请号:CN202010171263.4

    申请日:2020-03-12

    Abstract: 本发明提供了一种基于非易失性内存的新型混合内存垃圾回收方法及系统,包括:步骤1:当托管运行时无可用内存时,触发内存垃圾回收;步骤2:对内存区域进行划分,初始化内存区域数据;步骤3:在内存垃圾回收过程中,更新每个内存区域的数据信息;步骤4:将数据信息写入到非易失性内存中,并清理使用到的易失性内存缓存。本发明使用极少的易失性内存用作非易失内存的缓存,加快了内存数据读请求;通过异步地将缓存中的数据写入到非易失内存,提高了非易失性内存上垃圾回收的性能;对可能同时访问的数据进行存放位置的重分配,利用了非易失内存连续局部访问更快的特性,从而提高了程序的性能。

    面向乐观并发控制的多版本支持方法及系统

    公开(公告)号:CN110955672A

    公开(公告)日:2020-04-03

    申请号:CN201911165640.7

    申请日:2019-11-25

    Abstract: 本发明提供了一种面向乐观并发控制的多版本支持方法及系统,包括:初始时间戳获取步骤;第一时间戳更新步骤;时间戳增加步骤;第一时间戳写回步骤;第二时间戳写回步骤;第二时间戳更新步骤;读取快照步骤;该方法及系统利用乐观并发控制的特点,高效的获取事务的时间戳;在多版本数据库中,为只读事务选取合适的数据读取版本,为读写事务选取合适的数据写入版本,使得只读事务不会受到读写事务读写冲突的影响。和传统乐观并发控制方法相比,极大的提升了只读事务的执行性能;和传统时间戳方法相比,减少了网络通信和和去除了性能瓶颈。

    可扩展的持久性事务内存及其工作方法

    公开(公告)号:CN110515705A

    公开(公告)日:2019-11-29

    申请号:CN201910726002.1

    申请日:2019-08-07

    Abstract: 本发明提供了一种可扩展的持久性事务内存及其工作方法,包括:非易失存储器和动态随机储存器;所述非易失存储器中包括:原始数据对象以及每个事务维护的日志,所述日志包含新的数据对象,在原始数据对象中使用指针next指向对应的新的数据对象;所述动态随机储存器中包括:每个线程维护的元数据。本发明提出了使用DVCC技术减少寻找版本的时间,同时将NVM中的日志作为新版本的方法,有效地减少了写操作次数。

    字符串与识别符双向映射的查询方法和系统

    公开(公告)号:CN110222238A

    公开(公告)日:2019-09-10

    申请号:CN201910364317.6

    申请日:2019-04-30

    Abstract: 本发明提供了一种字符串与识别符双向映射的查询方法和系统,构造字典树建立数字类型识别符与字符串名称储存于字典树中的位置信息的一一映射关系;判断接收到的查询请求为正向查询请求或者反向查询请求;若为正向查询请求,通过传统字典树查询方式进行查询,并将识别符查询结果返回给用户;若为反向查询请求,查询该识别符所对应的字符串名称被储存在字典树中的位置信息;根据位置信息从字典树中还原完整的字符串信息,将完整字符串查询结果返回给用户。本发明能够复用字典树中已储存的字符串信息,在保证查询性能同时,显著降低了内存上的开销。

    面向二阶段锁的多版本数据库并发控制方法和系统

    公开(公告)号:CN109947742A

    公开(公告)日:2019-06-28

    申请号:CN201910151025.4

    申请日:2019-02-28

    Abstract: 本发明提供了一种面向二阶段锁提供高效的多版本数据库并发控制的方法和系统,利用二阶段锁作为并发控制的特点,高效的获取事务的时间戳;在多版本数据库中,为只读事务选取合适的数据读取版本,为读写事务选取合适的数据写入版本,使得只读事务和读写事务之间不会受到锁的竞争带来的影响。和传统的二阶段锁相比,只读事务和读写事务之间没有冲突,极大的提升了只读事务和读写事务的性能。和传统的时间戳方法相比,不需要一个中心的时间戳服务器,因此不会给事务带来额外的通信开销和性能瓶颈。

Patent Agency Ranking