一种基于数据库分区的数据更新方法、装置及系统

    公开(公告)号:CN113297232B

    公开(公告)日:2024-03-01

    申请号:CN202010762855.3

    申请日:2020-07-31

    发明人: 张浩然 潘岳

    IPC分类号: G06F16/23 G06F16/22

    摘要: 本说明书公开一种基于数据库分区的数据更新方法、装置及系统,该方法应用于包括数据接收单元和数据更新单元的系统,方法包括:数据接收单元,持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;数据更新单元,针对任一更新目标分区,在预设的更新时间点执行以下操作:确定对应于该分区的待更新数据量;判断待更新数据量是否达到对应于该分区的预设阈值;若待更新数据量达到预设阈值,则在当前时间点执行针对该分区的数据更新操作。

    事务处理系统、事务处理方法及装置

    公开(公告)号:CN113296895B

    公开(公告)日:2024-01-23

    申请号:CN202010525627.4

    申请日:2020-06-10

    摘要: 本说明书实施例提供事务处理系统、事务处理方法及装置,其中,所述事务处理系统的事务协调模块在接收到待处理事务的处理请求后,在确定该处理请求属于第一类型的情况下,将解析该处理请求获得的待处理数据源发送给事务管理模块请求全局锁以及事务标识,而事务管理模块在接收到该待处理数据源之后在确定该待处理数据源没有被其它事务执行的情况下,为该待处理数据源加持与处理请求对应的全局锁以及建立第一数据执行事务,避免有其他相同的处理请求对待处理数据源进行操作,污染待处理数据源中的数据,保证事务执行模块在对第一数据执行事务处理时,保证待处理数据源的安全性。

    事务处理系统、事务处理方法及装置

    公开(公告)号:CN113296895A

    公开(公告)日:2021-08-24

    申请号:CN202010525627.4

    申请日:2020-06-10

    摘要: 本说明书实施例提供事务处理系统、事务处理方法及装置,其中,所述事务处理系统的事务协调模块在接收到待处理事务的处理请求后,在确定该处理请求属于第一类型的情况下,将解析该处理请求获得的待处理数据源发送给事务管理模块请求全局锁以及事务标识,而事务管理模块在接收到该待处理数据源之后在确定该待处理数据源没有被其它事务执行的情况下,为该待处理数据源加持与处理请求对应的全局锁以及建立第一数据执行事务,避免有其他相同的处理请求对待处理数据源进行操作,污染待处理数据源中的数据,保证事务执行模块在对第一数据执行事务处理时,保证待处理数据源的安全性。

    一种任务分配方法和系统

    公开(公告)号:CN106528280A

    公开(公告)日:2017-03-22

    申请号:CN201510587698.6

    申请日:2015-09-15

    IPC分类号: G06F9/48

    摘要: 本申请实施例提供了一种任务调度方法和系统,以稳定响应时延。所述的方法包括:依据目标任务分析至少一种查询模式,获取所述查询模式的期望响应时间;依据所述查询模式和业务描述信息,估算系统开销信息和估计响应时间,以及估算系统每个处理节点处理的节点开销信息;按照所述节点开销信息选择处理节点,将目标任务中的子任务分配给选择的处理节点;确定目标任务未分配的剩余子任务,依据期望响应时间、系统开销信息和估计响应时间,对所述剩余子任务进行调度。在期望响应时间内对目标任务中的子任务分批处理,在满足期望响应时间的基础上减少系统开销,防止系统由于开销等问题使得响应时间变长或卡死,稳定响应时间。

    一种缓存管理方法与设备

    公开(公告)号:CN105354151A

    公开(公告)日:2016-02-24

    申请号:CN201410407532.7

    申请日:2014-08-19

    IPC分类号: G06F12/08

    摘要: 本申请的目的是提供一种缓存管理的方法与设备;将每个数据块的第一索引信息与所述数据块存储于磁盘,其中,所述数据块在所述磁盘中的存储位置与所述第一索引信息相对应;将所述磁盘中的所有第一索引信息写入相对应的缓存。与现有技术相比,本申请建立的多个索引信息能够突破单个索引信息的取值范围限制,实现对海量数据的查询;同时,查询关键字的匹配都是在访问速度较快的缓存中进行,大大提高了查询速度;此外,存储于磁盘中的各数据块依据需要在必要时存入缓存,使得在保证查询效率的同时节约缓存空间。因此,通过本申请,用户即可以快速的访问海量数据,这将会对以获取海量数据为基础的即时数据统计、运算、分析等应用带来极大的便利。

    数据查询和写入方法和装置,计算机存储介质和电子设备

    公开(公告)号:CN113297203B

    公开(公告)日:2024-07-02

    申请号:CN202010678385.2

    申请日:2020-07-15

    IPC分类号: G06F16/22 G06F16/2455

    摘要: 本申请公开一种数据查询方法和装置,查询数据获取方法和装置,查询数据标识信息的发送方法和装置,数据写入方法和装置,数据写入请求的发送方法和装置,写入数据的读取方法和装置,分析型数据库系统,以及计算机存储介质和电子设备;查询方法包括:获取数据查询请求;根据数据查询请求,确定待查询目标数据的标识信息是否与存储的当前写入数据的标识信息相匹配;若不匹配,则获取与当前写入数据的标识信息相邻的、且写入顺序在当前写入数据之后的新写入数据及新写入数据的标识信息;确定新写入数据的标识信息与待查询目标数据的标识信息是否匹配;若是,则将新写入数据确定为待查询目标数据;避免由于延迟等因素而导致查询数据不准确或者有偏差。

    数据迁移方法以及装置
    7.
    发明授权

    公开(公告)号:CN111813760B

    公开(公告)日:2024-03-26

    申请号:CN202010477729.3

    申请日:2020-05-29

    IPC分类号: G06F16/21 G06F16/27

    摘要: 本说明书实施例提供数据迁移方法以及装置,其中所述数据迁移方法包括:获取针对源数据库的迁移请求,创建所述源数据库中待迁移数据的快照,并将所述快照迁移至目标数据库,读取所述源数据库的主副本数据库中存储的数据迁移日志,并向所述目标数据库同步,根据所述主副本数据库的路由规则,对所述目标数据库的目标主副本数据库进行路由配置。

    数据处理方法以及装置
    8.
    发明公开

    公开(公告)号:CN113301084A

    公开(公告)日:2021-08-24

    申请号:CN202010613714.5

    申请日:2020-06-30

    摘要: 本说明书实施例提供数据处理方法以及装置,其中所述数据处理方法包括:接收数据处理指令,将所述数据处理指令追加到日志中,获得所述数据处理指令的日志条目;对分布式系统中m个从节点发起同步请求操作,以使所述从节点复制所述日志条目;在从节点安全复制所述日志条目的情况下,从所述m个从节点中选择n个从节点作为目标节点;应用所述日志条目到所述分布式系统的主节点的状态机以及所述目标节点的状态机,并将所述主节点的状态机的执行结果返回。

    一种基于数据库分区的数据更新方法、装置及系统

    公开(公告)号:CN113297232A

    公开(公告)日:2021-08-24

    申请号:CN202010762855.3

    申请日:2020-07-31

    发明人: 张浩然 潘岳

    IPC分类号: G06F16/23 G06F16/22

    摘要: 本说明书公开一种基于数据库分区的数据更新方法、装置及系统,该方法应用于包括数据接收单元和数据更新单元的系统,方法包括:数据接收单元,持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;数据更新单元,针对任一更新目标分区,在预设的更新时间点执行以下操作:确定对应于该分区的待更新数据量;判断待更新数据量是否达到对应于该分区的预设阈值;若待更新数据量达到预设阈值,则在当前时间点执行针对该分区的数据更新操作。

    数据处理方法、装置和设备
    10.
    发明公开

    公开(公告)号:CN113297005A

    公开(公告)日:2021-08-24

    申请号:CN202010733462.X

    申请日:2020-07-27

    IPC分类号: G06F11/14

    摘要: 本申请公开了一种数据处理方法,包括:获取待存储的目标数据,其中,目标数据包括数据分片,数据分片包括第一副本和第二副本;获取用于存储目标数据的存储节点;根据第一副本的编号和存储节点的编号,依次将第一副本放置在存储节点上,获得第一数量的第一副本存储节点行,其中,第一副本存储节点行根据存储节点的编号,依次将第一副本放置在存储节点上的存储空间生成;将第二副本按照指定的规则依次放置在存储节点上,获得第一数量的第二副本存储节点行;其中,相同次序的第一副本存储节点行包含的第一副本的编号的集合和第二副本存储节点行包含的第二副本的编号的集合相同,并且第一副本的编号与第二副本的编号错位排列。