公开(公告)号：CN116383333A

公开(公告)日：2023-07-04

申请号：CN202310465247.X

申请日：2023-04-26

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 于正泉 ,  刘涛 ,  李国强 ,  罗小兵 ,  余梦姗

IPC: G06F16/31 ,  G06F16/33

Abstract: 本公开提供一种数据存储方法、装置、设备及存储介质，涉及数据处理技术领域，具体涉及数据存储、数据分离、数据读取等技术领域，可应用于存储文本、图片、音视频等非结构化数据的场景下。具体实现方案包括：将目标数据对应的目标键值对中的关键字和值分离，得到目标关键字和目标值；为目标键值对生成唯一的标识信息，建立目标关键字和标识信息的第一对应关系、标识信息和目标值的第二对应关系；将标识信息、目标关键字、目标值、第一对应关系和第二对应关系预写入日志中；当应用侧访问目标数据时，将目标关键字、标识信息和第一对应关系写入应用侧。本公开可以减少存储数据时的数据写入量，降低写放大，提升存储性能。

公开(公告)号：CN116521672A

公开(公告)日：2023-08-01

申请号：CN202310269303.2

申请日：2023-03-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 罗小兵 ,  刘涛

IPC: G06F16/22 ,  G06F16/27

Abstract: 本公开提供了数据处理方法、装置、设备、系统及存储介质，数据处理技术领域，尤其涉及数据库、分布式、信息推荐及应用程序开发等技术领域。具体实现方案为：由分布式数据库系统中的元数据节点，接收目标计算节点提交的针对目标数据库表的列拷贝任务，列拷贝任务包括用于实现列拷贝功能的数据定义语言任务，按照预设粒度将列拷贝任务拆分为至少两个子任务，其中，不同子任务对应目标数据库表中不同的行范围，基于预设并发逻辑向至少两个计算节点分发至少两个子任务，以指示至少两个计算节点针对所接收到的子任务对应的行范围，进行相应的列拷贝操作。通过采用上述技术方案，可有效提高列拷贝效率，降低阻塞业务正常写入的时长。