一种分布式数据库的多副本实现方法和装置

    公开(公告)号:CN115964445B

    公开(公告)日:2024-03-05

    申请号:CN202310157937.9

    申请日:2023-02-23

    发明人: 周民 向俊凌 聂芸

    摘要: 本发明公开了一种分布式数据库的多副本实现方法和装置,该方法包括:根据编码缓存矩阵数据结构初始化编码缓存矩阵和预设分片键;主节点接收目标数据,构建编码缓存矩阵,基于预设分片键和预设纠删码算法对目标数据进行分片编码处理,得到分片数据以及冗余数据,并从分片数据从节点中确定目标分片数据从节点,从冗余数据从节点中确定目标冗余数据从节点;根据分片数据、冗余数据、目标分片数据从节点和目标冗余数据从节点,对目标数据进行分发处理;分发处理包括一级分发处理和二级分发处理,从而高效的实现了分布式数据库的多副本,并进一步提高了存储空间利用率,进而可充分发挥系统加速硬件的计算能力,保证了HTAP系统的(56)对比文件CN 114968119 A,2022.08.30CN 113190377 A,2021.07.30CN 109345386 A,2019.02.15CN 113901069 A,2022.01.07

    一种列存数据的加速处理方法和装置

    公开(公告)号:CN116302178B

    公开(公告)日:2023-10-20

    申请号:CN202310157920.3

    申请日:2023-02-23

    发明人: 周民 向俊凌 谢荣

    摘要: 本发明公开了一种列存数据的加速处理方法和装置,该方法包括:获取发送到数据库的加速配置信息,并将加速配置信息发送到硬件加速器;使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息,列数据文件包括至少一个添加了块头信息的数据块;使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理,得到结果数据;将结果数据从硬件加速器返回数据库,同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理,实现了数据库和硬件加速器之间的高效配合,从而更加高效的对列存数据进行加速处理。

    一种数据管理优化的方法和装置
    3.
    发明公开

    公开(公告)号:CN116842048A

    公开(公告)日:2023-10-03

    申请号:CN202310283907.2

    申请日:2023-03-22

    发明人: 向俊凌 周民 谢荣

    摘要: 本发明公开了一种数据管理优化的方法和装置,该方法包括:根据所述页面属性数据结构、加速卡存储的容量和主机页面缓存的容量对所述加速卡存储、主机缓存页面信息、所述主机页面缓存和加速卡页面管理信息进行初始化;接收并向所述加速器发送操作指令,所述加速器根据所述操作指令的类型和所述页面属性数据结构对数据页面进行处理,将所述数据页面标记为脏页,形成脏页数据,并向主机返回处理结果;同时返回与所述操作指令对应的脏页修改信息,将所述脏页数据缓存至所述主机页面缓存中,所述脏页数据回写时,直接从所述主机页面缓存中读取所述脏页数据,从而降低数据交互的通信开销,提升数据库系统的数据处理性能和可靠性。

    一种上下电时序控制电路和方法

    公开(公告)号:CN116700106A

    公开(公告)日:2023-09-05

    申请号:CN202310787259.4

    申请日:2023-06-30

    IPC分类号: G05B19/042

    摘要: 本发明公开了一种上下电时序控制电路和方法,该电路包括:电源监控单元和多级电源转换单元,每级电源转换单元对应一级电源泄放单元,根据各级电源转换单元的输出电压的大小输出相应的上电使能信号和/或泄放使能信号,在上电时基于各上电使能信号依次启动各级电源转换单元进行上电,在下电时基于各泄放使能信号依次启动各级泄放单元进行电压泄放,从而以简单的电路结构可靠的实现了电源上下电时序控制,降低了成本。

    一种分布式数据库的多副本实现方法和装置

    公开(公告)号:CN115964445A

    公开(公告)日:2023-04-14

    申请号:CN202310157937.9

    申请日:2023-02-23

    发明人: 周民 向俊凌 聂芸

    摘要: 本发明公开了一种分布式数据库的多副本实现方法和装置,该方法包括:根据编码缓存矩阵数据结构初始化编码缓存矩阵和预设分片键;主节点接收目标数据,构建编码缓存矩阵,基于预设分片键和预设纠删码算法对目标数据进行分片编码处理,得到分片数据以及冗余数据,并从分片数据从节点中确定目标分片数据从节点,从冗余数据从节点中确定目标冗余数据从节点;根据分片数据、冗余数据、目标分片数据从节点和目标冗余数据从节点,对目标数据进行分发处理;分发处理包括一级分发处理和二级分发处理,从而高效的实现了分布式数据库的多副本,并进一步提高了存储空间利用率,进而可充分发挥系统加速硬件的计算能力,保证了HTAP系统的可用性。

    一种数据传输方法和装置

    公开(公告)号:CN113905097B

    公开(公告)日:2022-07-05

    申请号:CN202111127858.0

    申请日:2021-09-26

    IPC分类号: H04L67/568

    摘要: 本发明公开了一种数据传输方法和装置,应用于包括多个节点的分布式数据库中,至少两个节点中设置有加速卡,各加速卡的高速接口相互连接组成数据传输通路,该方法包括:当加速卡接收到节点的CPU下发的要求获取目标数据的数据库操作指令时,根据获取数据操作或修改数据操作生成数据请求;若加速卡根据数据请求检测高速缓存中命中目标数据,加速卡从高速缓存中获取目标数据;否则加速卡将与数据请求对应的数据请求报文经数据传输通路发送到远端的目的节点,并基于从目的节点返回的数据包获取目标数据,从而降低了跨节点的加速卡间通信时延。

    一种基于加速系统的数据同步方法和装置

    公开(公告)号:CN116303791A

    公开(公告)日:2023-06-23

    申请号:CN202310283249.7

    申请日:2023-03-22

    IPC分类号: G06F16/27 G06F16/245

    摘要: 本发明公开了一种基于加速系统的数据同步方法和装置,该方法包括:基于硬件加速系统和所述时间源,所述主节点对客户侧写请求进行处理,并在处理完成后添加第一时间戳Tredo,向所述备节点发送数据同步日志;所述备节点基于所述时间源进行时间同步,并基于硬件加速系统根据所述数据同步日志提取所述第一时间戳Tredo并进行数据同步处理,标注同步状态信息;所述备节点接收客户侧查询请求,为所述客户侧查询请求添加第二时间戳Tquery,并根据所述同步状态信息、所述第一时间戳Tredo和所述第二时间戳Tquery返回查询结果,从而提升了数据同步效率和性能,并降低了实现复杂度和成本。

    一种上下电时序控制电路和方法

    公开(公告)号:CN116700106B

    公开(公告)日:2024-04-19

    申请号:CN202310787259.4

    申请日:2023-06-30

    IPC分类号: G05B19/042

    摘要: 本发明公开了一种上下电时序控制电路和方法,该电路包括:电源监控单元和多级电源转换单元,每级电源转换单元对应一级电源泄放单元,根据各级电源转换单元的输出电压的大小输出相应的上电使能信号和/或泄放使能信号,在上电时基于各上电使能信号依次启动各级电源转换单元进行上电,在下电时基于各泄放使能信号依次启动各级泄放单元进行电压泄放,从而以简单的电路结构可靠的实现了电源上下电时序控制,降低了成本。

    一种列存数据的加速处理方法和装置

    公开(公告)号:CN116302178A

    公开(公告)日:2023-06-23

    申请号:CN202310157920.3

    申请日:2023-02-23

    发明人: 周民 向俊凌 谢荣

    摘要: 本发明公开了一种列存数据的加速处理方法和装置,该方法包括:获取发送到数据库的加速配置信息,并将加速配置信息发送到硬件加速器;使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息,列数据文件包括至少一个添加了块头信息的数据块;使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理,得到结果数据;将结果数据从硬件加速器返回数据库,同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理,实现了数据库和硬件加速器之间的高效配合,从而更加高效的对列存数据进行加速处理。