数据迁移方法、装置、介质及设备

    公开(公告)号:CN118732923A

    公开(公告)日:2024-10-01

    申请号:CN202310318960.1

    申请日:2023-03-29

    Abstract: 本申请公开了数据迁移方法、装置、介质及设备,涉及存储技术领域,该方法包括:获取客户端发送的第一数据业务请求;所述第一数据业务请求包括目标键名数据;响应于所述第一数据业务请求,由至少一个存量存储节点进行数据处理,得到与所述目标键名数据对应的目标键值数据;在所述目标键名数据为预设键名数据列表中任一待迁移的键名数据的情况下,将所述目标键名数据和对应的所述目标键值数据迁移到至少一个增量存储节点。本申请通过数据业务请求触发数据的迁移,无需数据拷贝,在不停服的情况实现快速扩容。

    日志数据处理方法、系统、存储介质及电子设备

    公开(公告)号:CN113722276B

    公开(公告)日:2025-01-10

    申请号:CN202111073633.1

    申请日:2021-09-14

    Abstract: 本申请实施例公开了日志数据处理方法、系统、存储介质及电子设备,该方法基于目标设备产生的日志记录,得到对应的日志文件,该目标设备为运行目标业务进程的任一业务处理设备,目标业务进程为运行有目标业务的任一进程,每一日志记录均包括业务请求标识;对各业务处理设备的日志记录进行基于业务请求标识的聚合,得到第一索引文件,该第一索引文件用于记录携带有目标业务请求标识的日志记录的存储位置,该目标业务请求标识为各业务处理设备的日志记录中的任一业务请求标识。本申请可以降低日志记录入库的资源消耗,提升查询效率。本申请可以应用于消息交互、多媒体应用、智慧交通或者生活等领域,比如应用于行程分享、车辆加油、旅游或者听书。

    数据处理方法、装置、计算机可读介质及电子设备

    公开(公告)号:CN114546982A

    公开(公告)日:2022-05-27

    申请号:CN202011364836.1

    申请日:2020-11-27

    Abstract: 本申请属于计算机技术领域,具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。该方法包括:从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息,所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字;对所述数据过滤信息进行结构化编排,得到与待查询的业务数据相对应的记录编码;在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据,并将所述目标业务数据返回给数据请求方。该方法可以提高数据存储系统的数据处理效率和高并发的数据吞吐能力。

    日志数据处理方法、系统、存储介质及电子设备

    公开(公告)号:CN113722276A

    公开(公告)日:2021-11-30

    申请号:CN202111073633.1

    申请日:2021-09-14

    Abstract: 本申请实施例公开了日志数据处理方法、系统、存储介质及电子设备,该方法基于目标设备产生的日志记录,得到对应的日志文件,该目标设备为运行目标业务进程的任一业务处理设备,目标业务进程为运行有目标业务的任一进程,每一日志记录均包括业务请求标识;对各业务处理设备的日志记录进行基于业务请求标识的聚合,得到第一索引文件,该第一索引文件用于记录携带有目标业务请求标识的日志记录的存储位置,该目标业务请求标识为各业务处理设备的日志记录中的任一业务请求标识。本申请可以降低日志记录入库的资源消耗,提升查询效率。本申请可以应用于消息交互、多媒体应用、智慧交通或者生活等领域,比如应用于行程分享、车辆加油、旅游或者听书。

    消息处理方法、装置、电子设备和存储介质

    公开(公告)号:CN117093387B

    公开(公告)日:2024-02-13

    申请号:CN202311360899.3

    申请日:2023-10-20

    Abstract: 本申请实施例公开了一种消息处理方法、装置、电子设备和存储介质;该方法包括对消费进程中的消费线程进行状态检测,并将处于空闲状态的消费线程确定为目标消费线程,消费进程包括至少一个消费线程,消费线程用于对待处理消息进行消费处理;从消息队列中提取出待处理消息;将待处理消息推送至目标消费线程,以指示目标消费线程对待处理消息进行消费处理,并在处理完成后返回消息拉取请求;基于消息拉取请求从消息队列中提取出新的待处理消息;将新的待处理消息发送至目标消费线程。本方案可以提升对消息的处理效率。

    消息处理方法、装置、电子设备和存储介质

    公开(公告)号:CN117093387A

    公开(公告)日:2023-11-21

    申请号:CN202311360899.3

    申请日:2023-10-20

    Abstract: 本申请实施例公开了一种消息处理方法、装置、电子设备和存储介质;该方法包括对消费进程中的消费线程进行状态检测,并将处于空闲状态的消费线程确定为目标消费线程,消费进程包括至少一个消费线程,消费线程用于对待处理消息进行消费处理;从消息队列中提取出待处理消息;将待处理消息推送至目标消费线程,以指示目标消费线程对待处理消息进行消费处理,并在处理完成后返回消息拉取请求;基于消息拉取请求从消息队列中提取出新的待处理消息;将新的待处理消息发送至目标消费线程。本方案可以提升对消息的处理效率。

    一种数据存储方法、装置、设备及存储介质

    公开(公告)号:CN111443867B

    公开(公告)日:2021-08-03

    申请号:CN202010212580.6

    申请日:2020-03-24

    Abstract: 本申请实施例公开了一种数据存储方法、装置、设备及存储介质,其中该方法应用于数据存储系统,该数据存储系统包括热数据存储服务器和冷数据存储服务器,热数据存储服务器中存储磁盘的性能优于冷数据存储服务器中存储磁盘的性能。该方法包括:针对所述数据存储系统接收的用户数据,确定满足预设下沉条件的用户数据作为下沉数据;基于下沉数据生成下沉数据文件;将下沉数据文件存储至冷数据存储服务器;基于下沉数据文件中下沉数据在冷数据存储服务器中的存储位置,生成下沉数据对应的目标索引信息。该方法能够在保证系统访问性能的同时,有效地降低数据存储成本。

    一种数据存储方法、装置、设备及存储介质

    公开(公告)号:CN111443867A

    公开(公告)日:2020-07-24

    申请号:CN202010212580.6

    申请日:2020-03-24

    Abstract: 本申请实施例公开了一种数据存储方法、装置、设备及存储介质,其中该方法应用于数据存储系统,该数据存储系统包括热数据存储服务器和冷数据存储服务器,热数据存储服务器中存储磁盘的性能优于冷数据存储服务器中存储磁盘的性能。该方法包括:针对所述数据存储系统接收的用户数据,确定满足预设下沉条件的用户数据作为下沉数据;基于下沉数据生成下沉数据文件;将下沉数据文件存储至冷数据存储服务器;基于下沉数据文件中下沉数据在冷数据存储服务器中的存储位置,生成下沉数据对应的目标索引信息。该方法能够在保证系统访问性能的同时,有效地降低数据存储成本。

Patent Agency Ranking