-
公开(公告)号：CN104881466B
公开(公告)日：2018-09-07
申请号：CN201510271710.2
申请日：2015-05-25
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种数据分片的处理以及垃圾文件的删除方法和装置。数据分片的处理方法包括：在分布式全序存储系统生成全序数据分片的过程中，获取与数据分片对应的至少一个属性描述信息，其中，属性描述信息包括数据迭代信息；将属性描述信息写入与数据分片对应的文件元信息中；在接收到对至少一个目标数据分片的处理指示时，对与目标数据分片对应的文件元信息中的数据迭代信息进行处理，以实现对目标数据分片的处理。本发明的技术方案实现了无需对数据文件进行任何移动或修改，即可完成对所述目标数据分片进行处理的技术效果，优化了现有的分布式全序存储系统中数据分片的处理机制，满足人们日益增长的便捷化、高效化的数据分片的处理需求。
-
公开(公告)号：CN104881466A
公开(公告)日：2015-09-02
申请号：CN201510271710.2
申请日：2015-05-25
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30303 , G06F17/30117 , G06F17/30194
Abstract: 本发明实施例公开了一种数据分片的处理以及垃圾文件的删除方法和装置。数据分片的处理方法包括：在分布式全序存储系统生成全序数据分片的过程中，获取与数据分片对应的至少一个属性描述信息，其中，属性描述信息包括数据迭代信息；将属性描述信息写入与数据分片对应的文件元信息中；在接收到对至少一个目标数据分片的处理指示时，对与目标数据分片对应的文件元信息中的数据迭代信息进行处理，以实现对目标数据分片的处理。本发明的技术方案实现了无需对数据文件进行任何移动或修改，即可完成对所述目标数据分片进行处理的技术效果，优化了现有的分布式全序存储系统中数据分片的处理机制，满足人们日益增长的便捷化、高效化的数据分片的处理需求。
-
公开(公告)号：CN104809237B
公开(公告)日：2018-12-14
申请号：CN201510239570.0
申请日：2015-05-12
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种LSM‑tree索引的优化方法和装置。所述方法包括：将写入内存中的数据按照LSM‑tree内存索引结构进行存储；当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；将合并后的所述内存数据按照LSM‑tree磁盘索引结构写入磁盘文件中。本发明的技术方案解决了现有技术在频繁更新相同Key数据项的场景下所带来的CPU消耗过大、数据库对外的吞吐量降低、I/O操作过多以及引入内存缓存等技术问题，显著降低了CPU消耗，提高了数据库对外的吞吐量，同时避免了使用内存缓存而带来的额外内存开销以及性能降低等问题。
-
公开(公告)号：CN104731533A
公开(公告)日：2015-06-24
申请号：CN201510146467.1
申请日：2015-03-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明提出一种数据写入方法和装置，该数据写入方法包括：接收应用发送的写操作请求；将所述写操作请求存入第一缓存；当所述写操作请求的类型为写立即返回或写且同步操作时，或者当所述第一缓存已满足缓存切换条件时，将保存接收的写操作请求的缓存由所述第一缓存切换为第二缓存；对所述第一缓存中的写操作请求执行写入操作。本发明可以充分发挥批量读写与写盘操作的并行性，可以在不影响应用写操作语义的前提下最大性能地提高吞吐量。
-
Patent Agency Ranking
公开(公告)号：CN104809237A
公开(公告)日：2015-07-29
申请号：CN201510239570.0
申请日：2015-05-12
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种LSM-tree索引的优化方法和装置。所述方法包括：将写入内存中的数据按照LSM-tree内存索引结构进行存储；当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；将合并后的所述内存数据按照LSM-tree磁盘索引结构写入磁盘文件中。本发明的技术方案解决了现有技术在频繁更新相同Key数据项的场景下所带来的CPU消耗过大、数据库对外的吞吐量降低、I/O操作过多以及引入内存缓存等技术问题，显著降低了CPU消耗，提高了数据库对外的吞吐量，同时避免了使用内存缓存而带来的额外内存开销以及性能降低等问题。
-
公开(公告)号：CN104714900A
公开(公告)日：2015-06-17
申请号：CN201510136331.2
申请日：2015-03-26
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F12/08
Abstract: 本发明提出一种数据读取方法和装置，该数据读取方法包括：接收发送端以并发方式发送的读数据请求；扫描所述读数据请求所请求的数据；将扫描到的数据携带在所述读数据请求对应的读数据响应中发送给所述发送端，所述读数据响应中携带的数据包包括数据标识，所述数据标识用于标识所述数据包扫描的先后顺序，以便所述发送端接收到所述数据包之后，根据所述数据标识对接收到的数据包进行排序。本发明中，发送端以并发方式向接收端发送读数据请求，从而可以使硬件的功能以最大效能运转，可以有效解决网络通信成本所导致的顺序访问吞吐量降低的问题，使整个系统的顺序访问吞吐量不受跨IDC和网络拓扑的影响，大大提高了系统对资源的利用率。
-
公开(公告)号：CN104714900B
公开(公告)日：2019-07-05
申请号：CN201510136331.2
申请日：2015-03-26
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明提出一种数据读取方法和装置，该数据读取方法包括：接收发送端以并发方式发送的读数据请求；扫描所述读数据请求所请求的数据；将扫描到的数据携带在所述读数据请求对应的读数据响应中发送给所述发送端，所述读数据响应中携带的数据包包括数据标识，所述数据标识用于标识所述数据包扫描的先后顺序，以便所述发送端接收到所述数据包之后，根据所述数据标识对接收到的数据包进行排序。本发明中，发送端以并发方式向接收端发送读数据请求，从而可以使硬件的功能以最大效能运转，可以有效解决网络通信成本所导致的顺序访问吞吐量降低的问题，使整个系统的顺序访问吞吐量不受跨IDC和网络拓扑的影响，大大提高了系统对资源的利用率。
-
公开(公告)号：CN104731533B
公开(公告)日：2018-06-05
申请号：CN201510146467.1
申请日：2015-03-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明提出一种数据写入方法和装置，该数据写入方法包括：接收应用发送的写操作请求；将所述写操作请求存入第一缓存；当所述写操作请求的类型为写立即返回或写且同步操作时，或者当所述第一缓存已满足缓存切换条件时，将保存接收的写操作请求的缓存由所述第一缓存切换为第二缓存；对所述第一缓存中的写操作请求执行写入操作。本发明可以充分发挥批量读写与写盘操作的并行性，可以在不影响应用写操作语义的前提下最大性能地提高吞吐量。
-
公开(公告)号：CN104731714A
公开(公告)日：2015-06-24
申请号：CN201510140432.7
申请日：2015-03-27
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F12/02
Abstract: 本发明提出一种数据访问方法和装置，该数据访问方法包括：接收应用程序的数据访问请求；根据所述数据访问请求查找所述应用程序请求访问的数据块；如果在访问速度较快的存储介质中未查找到所述应用程序请求访问的数据块，则在访问速度较慢的存储介质中查找所述应用程序请求访问的数据块，并将查找到的数据块填充到所述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中，以供所述应用程序访问。本发明充分发挥了混合存储介质的优点，有效地降低了存储的成本，同时提高了单位数据访问的吞吐和性能。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.027 seconds)
