-
公开(公告)号：CN109063170B
公开(公告)日：2021-07-30
申请号：CN201810939821.X
申请日：2018-08-17
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/245 , G06F16/28
Abstract: 本发明实施例提出一种智能查询方法、装置、终端和计算机可读存储介质，方法包括：接收来自客户端的查询指令，查询指令包括起始关系表的主键和至少一个终止关系表的属性；根据查询指令从预先生成的各查询计划中，确定出起始关系表与每一个终止关系表的属性对应的目标查询计划，目标查询计划包括从起始关系表的主键到一个终止关系表的属性的至少一条查询路径；从目标查询计划包括的各查询路径中，选择目标查询路径；根据目标查询路径，查询得到终止关系表的属性对应数据；将所查询到的数据发送至客户端。由于预先生成了各关系表间的查询计划，因此能够根据查询指令快速准确的找到目标查询计划和目标查询路径，提高智能查询的吞吐量和查询速度。
-
公开(公告)号：CN104881466B
公开(公告)日：2018-09-07
申请号：CN201510271710.2
申请日：2015-05-25
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种数据分片的处理以及垃圾文件的删除方法和装置。数据分片的处理方法包括：在分布式全序存储系统生成全序数据分片的过程中，获取与数据分片对应的至少一个属性描述信息，其中，属性描述信息包括数据迭代信息；将属性描述信息写入与数据分片对应的文件元信息中；在接收到对至少一个目标数据分片的处理指示时，对与目标数据分片对应的文件元信息中的数据迭代信息进行处理，以实现对目标数据分片的处理。本发明的技术方案实现了无需对数据文件进行任何移动或修改，即可完成对所述目标数据分片进行处理的技术效果，优化了现有的分布式全序存储系统中数据分片的处理机制，满足人们日益增长的便捷化、高效化的数据分片的处理需求。
-
公开(公告)号：CN107783728A
公开(公告)日：2018-03-09
申请号：CN201610799925.6
申请日：2016-08-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
CPC classification number: G06F3/0607 , G06F3/0629 , G06F3/067
Abstract: 本发明实施例公开了一种数据存储方法、装置和设备。所述方法包括：在获取下层在线模块返回给上层在线模块的查询响应数据包时，计算与所述查询响应数据包对应的数据存储编号；如果根据所述数据存储编号确定所述查询响应数据包中的数据未被存储于外部存储空间中，则将所述查询响应数据包中的数据在所述外部存储空间中进行存储。本发明实施例的技术方案解决了现有的分布式存储系统无法满足在不影响在线服务前提下，异步持久化存储在线系统模块间通信的数据包这一具体应用场景使用需求，优化现有的数据存储技术，满足该具体应用场景下的数据异步持久化存储需求。
-
公开(公告)号：CN106599094B
公开(公告)日：2020-05-22
申请号：CN201611053534.6
申请日：2016-11-24
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/951 , G06F16/955 , G06F9/48
Abstract: 本发明提出一种网络异步抓取系统和方法，该网络异步抓取系统包括任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据URL所属任务所在后端的环境类型来触发驱动器对URL进行调度；驱动器，用于被调度器触发之后，读取URL所属任务的任务信息，基于任务信息将URL注入抓取池，并根据任务信息控制URL注入抓取池的频率，任务信息包括每秒查询率和并发值；执行器，用于从抓取池中读取URL，并对URL进行抓取。通过本发明能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。
-
公开(公告)号：CN104809237B
公开(公告)日：2018-12-14
申请号：CN201510239570.0
申请日：2015-05-12
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种LSM‑tree索引的优化方法和装置。所述方法包括：将写入内存中的数据按照LSM‑tree内存索引结构进行存储；当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；将合并后的所述内存数据按照LSM‑tree磁盘索引结构写入磁盘文件中。本发明的技术方案解决了现有技术在频繁更新相同Key数据项的场景下所带来的CPU消耗过大、数据库对外的吞吐量降低、I/O操作过多以及引入内存缓存等技术问题，显著降低了CPU消耗，提高了数据库对外的吞吐量，同时避免了使用内存缓存而带来的额外内存开销以及性能降低等问题。
-
Patent Agency Ranking
公开(公告)号：CN107704467A
公开(公告)日：2018-02-16
申请号：CN201610645103.2
申请日：2016-08-09
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30 , G06F17/30864
Abstract: 本发明实施例公开了一种搜索质量评估方法及装置，所述方法包括：基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。本发明实施例使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
-
公开(公告)号：CN106886375A
公开(公告)日：2017-06-23
申请号：CN201710187260.8
申请日：2017-03-27
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本申请公开了存储数据的方法和装置。该方法的一具体实施方式包括：获取待存储的键值对数据；将上述键值对数据存储在磁盘的预写日志文件中；根据上述键值对数据在磁盘中的存储位置以及该键值对数据中的键在内存中为该键值对数据生成索引项，以通过该索引项对该键值对数据执行预定操作，在检测到满足合并整理条件的预写日志文件时，根据索引将该满足预定条件的预写日志文件中保留的键值对数据追加写入磁盘中，其中，存储位置包括以下至少一项：预写日志文件的文件名、键值对数据在预写日志文件中与文件起始位置的偏移量。该实施方式可以减小写入放大问题，提高存储数据的有效性。
-
公开(公告)号：CN104731533A
公开(公告)日：2015-06-24
申请号：CN201510146467.1
申请日：2015-03-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明提出一种数据写入方法和装置，该数据写入方法包括：接收应用发送的写操作请求；将所述写操作请求存入第一缓存；当所述写操作请求的类型为写立即返回或写且同步操作时，或者当所述第一缓存已满足缓存切换条件时，将保存接收的写操作请求的缓存由所述第一缓存切换为第二缓存；对所述第一缓存中的写操作请求执行写入操作。本发明可以充分发挥批量读写与写盘操作的并行性，可以在不影响应用写操作语义的前提下最大性能地提高吞吐量。
-
公开(公告)号：CN106886375B
公开(公告)日：2019-11-05
申请号：CN201710187260.8
申请日：2017-03-27
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本申请公开了存储数据的方法和装置。该方法的一具体实施方式包括：获取待存储的键值对数据；将上述键值对数据存储在磁盘的预写日志文件中；根据上述键值对数据在磁盘中的存储位置以及该键值对数据中的键在内存中为该键值对数据生成索引项，以通过该索引项对该键值对数据执行预定操作，在检测到满足合并整理条件的预写日志文件时，根据索引将该满足预定条件的预写日志文件中保留的键值对数据追加写入磁盘中，其中，存储位置包括以下至少一项：预写日志文件的文件名、键值对数据在预写日志文件中与文件起始位置的偏移量。该实施方式可以减小写入放大问题，提高存储数据的有效性。
-
公开(公告)号：CN108241577A
公开(公告)日：2018-07-03
申请号：CN201611223478.6
申请日：2016-12-27
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F11/36
Abstract: 本申请公开了测试方法和装置。所述方法的一具体实施方式包括：接收测试指令，上述测试指令包含：待测试操作的标识；根据上述标识，对测试用数据执行上述待测试操作，得到测试结果，上述测试用数据包括：搜索引擎中存储的查询词对应的搜索结果；生成包含上述测试结果与线上执行结果的参考信息，上述线上执行结果包括：线上运行的搜索引擎对测试用数据执行过的、与上述待测试操作同属于一个类型的操作而得到的结果。该实施方式实现了待测试操作快速、高效的测试。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.03 seconds)
