数据处理方法及装置
    81.
    发明公开

    公开(公告)号:CN113923222A

    公开(公告)日:2022-01-11

    申请号:CN202111513721.9

    申请日:2021-12-13

    Inventor: 吴泽宇

    Abstract: 本发明公开了一种数据处理方法及装置。其中,该方法包括:通过控制面的管理器检测目标资源池的每个安置组leader节点的分布情况;在安置组的节点的分布情况满足预设的触发条件的情况下,向数据面的目标安置组发送切换leader指令,其中,目标安置组为多个安置组中的任一安置组;通过数据面的目标安置组根据切换指令,将目标安置组的leader节点切换为follower节点,并选取一个follower节点替代对应的leader节点作为主节点。本发明解决了相关技术中在分布式系统中同一个一致性协议集群中某个节点承担过多数量的集群主节点角色,导致分布式系统的数据处理能力受限于单个物理节点的性能,难以满足较大数据处理的需求的技术问题。

    基于SQM的数据处理方法、装置、设备及存储介质

    公开(公告)号:CN113568766B

    公开(公告)日:2022-01-07

    申请号:CN202111125566.3

    申请日:2021-09-26

    Abstract: 本发明公开了一种基于SQM的数据处理方法、装置、设备及存储介质,方法包括:接收分部控制端发送的用户创建请求;根据用户创建请求生成对应的调用接口;根据调用接口与分部控制端建立通信,并获取分部控制端的用户信息;解析用户信息以得到用户配置参数,并根据用户配置参数创建对应的用户管理界面。本发明通过根据用户创建请求生成对应的调用接口,然后根据调用接口与分部控制端建立通信,以获取分部控制端的用户信息,并对用户信息进行解析得到用户配置参数,以根据用户配置参数建立对应的用户管理界面,以实现总部控制端和分部控制端的远程数据共享,实现总部控制端统一进行用户监管,提高用户的体验感。

    数据通信方法及装置、处理器、计算机存储介质

    公开(公告)号:CN113626226A

    公开(公告)日:2021-11-09

    申请号:CN202111189826.3

    申请日:2021-10-13

    Inventor: 蒋文龙

    Abstract: 本发明公开了一种数据通信方法及装置、处理器、计算机存储介质。其中,该方法包括:响应通信业务的唤醒操作,调用前台线程在第一通道池中确定目标通信通道,其中,第一通道池用于存储可用通信通道;采用目标通信通道进行数据通信;定时调用后台线程对第二通道池中的异常通信通道进行维护,其中,第二通道池用于存储通信异常的通信通道,第二通道池与第一通道池相互独立,前台线程和后台线程相互独立,第一通道池的通信通道的使用频率高于第二通道池的通信通道的使用频率。本发明解决了相关技术中的多个通信通道在切换时采用单线程运行的方式存在效率低下的技术问题。

    获取数据库日志的方法及装置

    公开(公告)号:CN111611107A

    公开(公告)日:2020-09-01

    申请号:CN202010438259.X

    申请日:2020-05-21

    Inventor: 熊军 张伟

    Abstract: 本申请公开了一种获取数据库日志的方法及装置。其中,该方法包括:接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;将当前在线重做日志的增量数据发送至远端设备。本申请解决了现有技术中将在线重做日志发送至远端设备,存在的管理配置繁琐且对数据库写入性能有一定影响的技术问题。

    基于纠删码的日志提交和数据更新方法、设备及介质

    公开(公告)号:CN119718766A

    公开(公告)日:2025-03-28

    申请号:CN202411740340.8

    申请日:2024-11-29

    Abstract: 本申请公开了一种基于纠删码的日志提交和数据更新方法、设备及介质,该方法可以应用于服务器集群的领导节点,先接收待写入的数据分片,然后获取包含数据分片的更新信息的日志数据,接着再确认每个数据分片对应的目标分片所属的节点,并将日志数据发送至相应节点。在接收到来自节点的用于表征日志数据被正确接收的确认信息之后,可以根据这些日志数据对节点的目标分片进行增量更新。本申请实施例采用了增量更新策略,能够有效缓解写放大问题,并提高数据更新的效率。

    分布式数据库的读请求调度方法、装置及电子设备

    公开(公告)号:CN117827973B

    公开(公告)日:2024-10-18

    申请号:CN202311865825.5

    申请日:2023-12-29

    Inventor: 孙镇良

    Abstract: 本发明公开了一种分布式数据库的读请求调度方法、装置及电子设备。其中,该方法包括:获取分布式数据库中主副本的时延数据集,其中,时延数据集包括:在多个历史时延数据中截取的预设数量的历史时延数据,每个历史时延数据用于表示主副本对已响应的第一读请求的时延;根据时延数据集,确定时延阈值;检测主副本中未响应的第二读请求的等待时间;在等待时间超过时延阈值的情况下,将第二读请求调度至主副本的从副本。本发明解决了对读请求的调度效果差的技术问题。

    纠删码分布式数据存储中的领导节点的确定方法及装置

    公开(公告)号:CN118151848A

    公开(公告)日:2024-06-07

    申请号:CN202410256449.8

    申请日:2024-03-06

    Abstract: 本申请公开了一种纠删码分布式数据存储中的领导节点的确定方法及装置,涉及分布式数据存储领域,该纠删码分布式数据存储中的领导节点的确定方法包括:在分布式系统中的候选节点在预设时间内获取到Z个投票的情况下,通过所述候选节点确定所述候选节点为所述分布式系统中的领导节点,其中,Z=max((N+1)/2,k),N为所述分布式系统中的节点数,N=2F+1,N=k+m,k为数据的数据分片数,m为数据的校验分片数,F为正整数,k大于m。采用上述技术方案,解决了CRaft无法保障纠删码存储模式的实现。

    集群流量的确定方法、装置、电子设备及存储介质

    公开(公告)号:CN117812008A

    公开(公告)日:2024-04-02

    申请号:CN202311845268.0

    申请日:2023-12-28

    Inventor: 林川杰 黄岩

    Abstract: 本发明公开了一种集群流量的确定方法、装置、电子设备及存储介质,其中,集群流量的分配方法包括:获取多个处理节点的多个目标流量值,其中,一个处理节点对应一个目标流量值;根据目标标识和节点视图信息确定目标分布节点,其中,目标标识包括快照标识和资源池标识;发送多个目标流量值至目标分布节点;响应于目标分布节点接收到多个目标流量值,根据多个目标流量值确定多个处理节点的配置流量值。本发明解决了现有技术中由于集群流量确定的过程中需要较高的计算成本,从而导致系统性能下降的技术问题。

    数据存储方法和装置、计算机可读存储介质及电子装置

    公开(公告)号:CN117785057A

    公开(公告)日:2024-03-29

    申请号:CN202311844266.X

    申请日:2023-12-28

    Inventor: 张洋 黄岩

    Abstract: 本发明公开了一种数据存储方法和装置、计算机可读存储介质及电子装置,其中,上述方法包括:在接收到数据存储指令的情况下,获取数据存储指令对应的待存储数据;基于至少一个多级位图结构为数据存储指令分配目标存储空间,其中,多级位图结构的空间容量不同,目标存储空间的空间容量相当于多个数据块合并后的存储空间的空间容量;将待存储数据存储至目标存储空间。解决了空间分配效率较低的技术问题。

    工况智能分类方法和装置、电子设备及存储介质

    公开(公告)号:CN117171625B

    公开(公告)日:2024-02-06

    申请号:CN202311369467.9

    申请日:2023-10-23

    Abstract: 本申请实施例提供了一种工况智能分类方法和装置、电子设备及存储介质,属于人工智能技术领域。该方法包括:获取原始样本数据,其中,原始样本数据包括异常工况的第一原始样本数据、正常工况的第二原始样本数据;将原始样本数据输入至预设的原始工况分类模型进行工况分类,得到预测工况标签;根据原始样本数据对应的样本标签和预测工况标签计算得到原始梯度数据;根据原始样本数据计算得到梯度更新数据;根据梯度更新数据对原始梯度数据进行更新,得到目标梯度更新数据;对原始工况分类模型进行训练,得到目标工况分类模型;根据目标工况分类模型对目标设备进行工况分类。本申请实施例能够在样本不均衡的情况下提高工况分类识别的准确性。

Patent Agency Ranking