公开(公告)号：CN111190895B

公开(公告)日：2023-04-28

申请号：CN201811362021.2

申请日：2018-11-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 魏煜 ,  桂超贤

IPC: G06F16/22

Abstract: 本发明实施例提出一种列式存储数据的组织方法、装置及计算机可读存储介质。其中列式存储数据的组织方法包括：创建列式存储格式的第一组织文件，所述第一组织文件中包括一个行组；获取多个列式存储格式的待拼接文件的数据；将所述待拼接文件的数据，采用重编码组织方式在所述第一组织文件的所述一个行组中进行拼接。本发明实施例通过拼接列式存储格式的小文件，使得在查询时只需要读单个文件，并且只需要读取一个行组，寻道时间只有一次，从而使查询速度更快，显著减少了因处理大量小文件所导致的数据分析查询时间。

公开(公告)号：CN111177174A

公开(公告)日：2020-05-19

申请号：CN201811331279.6

申请日：2018-11-09

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 桂超贤

IPC: G06F16/242

Abstract: 本发明实施例提出一种SQL语句的生成方法、装置、设备和计算机可读存储介质。其中，该生成方法包括：获取查询条件，所述查询条件中包括请求查询的目标字段和与所述目标字段相关的过滤条件；判断待查的数据表的列名中是否存在与所述目标字段匹配的列名；若存在与所述目标字段匹配的列名，则利用所述目标字段和所述过滤条件生成SQL语句。本发明实施例在生成SQL语句之前，利用待查的数据表的列名对查询条件中的目标字段进行预判，能够避免生成无效的SQL语句，节约了查询时间，提高了查询效率。

公开(公告)号：CN120067115A

公开(公告)日：2025-05-30

申请号：CN202510059077.4

申请日：2025-01-14

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 郑峰弓 ,  桂超贤 ,  董铭 ,  严海林 ,  钱祺 ,  陈玉祯

IPC: G06F16/23 ,  G06F16/28

Abstract: 本公开提供了一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域，具体涉及数据仓库技术以及大数据处理等技术领域。具体实现方案为：获取数据仓库表，数据仓库表中包含随时间状态变化缓慢的目标数据；获取目标数据状态发生变化的起始时间；响应于针对目标数据的状态变化数据写入请求，根据设定时间与起始时间之间的差值确定状态变化数据写入的起点位置和终点位置；若起点位置对应的序列长度小于或等于目标数据的当前序列长度，则将状态变化数据转换为二进制形式，并将转换结果填充至起点位置到终点位置之间的区间范围，得到更新后的数据仓库表。本公开不仅显著减少了数据存储空间的需求，而且提高了数据更新的速度和准确性。

公开(公告)号：CN111190895A

公开(公告)日：2020-05-22

申请号：CN201811362021.2

申请日：2018-11-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 魏煜 ,  桂超贤

IPC: G06F16/22

Abstract: 本发明实施例提出一种列式存储数据的组织方法、装置及计算机可读存储介质。其中列式存储数据的组织方法包括：创建列式存储格式的第一组织文件，所述第一组织文件中包括一个行组；获取多个列式存储格式的待拼接文件的数据；将所述待拼接文件的数据，采用重编码组织方式在所述第一组织文件的所述一个行组中进行拼接。本发明实施例通过拼接列式存储格式的小文件，使得在查询时只需要读单个文件，并且只需要读取一个行组，寻道时间只有一次，从而使查询速度更快，显著减少了因处理大量小文件所导致的数据分析查询时间。