-
公开(公告)号:CN105550225A
公开(公告)日:2016-05-04
申请号:CN201510887819.9
申请日:2015-12-07
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/00 , G06F16/24561 , G06F16/2228
Abstract: 本发明提供一种索引构建方法、查询方法及装置。在索引构建过程中,从查询请求的查询条件中提取查询项,获取用于指示满足查询项的数据所在数据行的数据行指示信息,将查询项及对应的数据行指示信息作为索引存储到索引文件中,由于不依赖于数据文件中的数据布局,因此不会破坏现有的数据布局,实现相对简单。另外,在使用索引文件进行数据查询过程中,根据索引文件中存储的已有查询项和已有查询项对应的数据行指示信息,对当前查询条件中能够被改写的查询项进行改写,使得改写后的查询条件变得相对简单,可以减少IO次数,有利于提高查询效率。
-
公开(公告)号:CN104881466A
公开(公告)日:2015-09-02
申请号:CN201510271710.2
申请日:2015-05-25
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30303 , G06F17/30117 , G06F17/30194
Abstract: 本发明实施例公开了一种数据分片的处理以及垃圾文件的删除方法和装置。数据分片的处理方法包括:在分布式全序存储系统生成全序数据分片的过程中,获取与数据分片对应的至少一个属性描述信息,其中,属性描述信息包括数据迭代信息;将属性描述信息写入与数据分片对应的文件元信息中;在接收到对至少一个目标数据分片的处理指示时,对与目标数据分片对应的文件元信息中的数据迭代信息进行处理,以实现对目标数据分片的处理。本发明的技术方案实现了无需对数据文件进行任何移动或修改,即可完成对所述目标数据分片进行处理的技术效果,优化了现有的分布式全序存储系统中数据分片的处理机制,满足人们日益增长的便捷化、高效化的数据分片的处理需求。
-
公开(公告)号:CN103746843A
公开(公告)日:2014-04-23
申请号:CN201310752900.7
申请日:2013-12-31
Applicant: 百度在线网络技术(北京)有限公司
Abstract: 本发明的目的是提供一种处理RPC命令的方法与设备。具体地,第二设备接收来自对应的第一设备的、具有第一命令标识信息的第一RPC命令,其中,命令标识信息随RPC命令单调变化;根据第一RPC命令建立或更新待执行命令集合;执行待执行命令集合中的RPC命令,将对应的执行结果发送至第一设备。与现有技术相比,本发明中第二设备根据接收到的来自第一设备的具有第一命令标识信息的第一RPC命令,建立或更新待执行命令集合,执行待执行命令集合中的RPC命令,通过采用随RPC命令单调变化的命令标识对RPC命令进行唯一标识,确保了命令的唯一性,并对待执行命令集合中的RPC命令进行执行,提高了RPC通信的可靠性与通信效率。
-
公开(公告)号:CN103744808A
公开(公告)日:2014-04-23
申请号:CN201310751661.3
申请日:2013-12-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F13/20
Abstract: 本发明的目的是提供一种用于控制I/O请求的方法与设备。具体地,根据I/O资源配额信息处理I/O请求;更新I/O资源配额信息;调度I/O请求中待完成I/O请求,以根据更新后的I/O资源配额信息处理待完成I/O请求。与现有技术相比,本发明通过根据I/O资源配额信息处理I/O请求,以更新所述I/O资源配额信息,进而调度I/O请求中待完成I/O请求,以根据更新后的所述I/O资源配额信息处理所述待完成I/O请求,实现了对单位时间内执行I/O的数据量的精确控制,使其得到有效限制,并降低了I/O流量的波动幅度与波动方差,相应地,也降低了系统异常发生率,提高了系统应用的稳定性,提升了用户的系统使用体验。
-
公开(公告)号:CN103744620A
公开(公告)日:2014-04-23
申请号:CN201310751664.7
申请日:2013-12-31
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明的目的是提供一种用于数据存储的方法与设备。处理设备通过根据数据存储请求确定对应的一个或多个候选存储方案信息,并根据所述候选存储方案信息所对应的性能指标信息确定对应的优选存储方案信息,进而对所述数据存储请求进行处理。与现有技术相比,本发明根据硬件介质服务质量的不同,将数据根据重要程度分配到合适的存储介质上,降低了数据损坏和丢失的概率;同时,由于介质的服务质量根据实际情况实时变化,利用本发明能够比较早地发现潜在故障,避免即将发生的硬件故障所带来的损坏;从而实现了对存储介质服务质量感知的数据分级布局技术,消除了存储介质服务质量不一致对存储系统的存储性能和可靠性的影响,并实现了存储成本控制策略。
-
公开(公告)号:CN107704467B
公开(公告)日:2021-08-24
申请号:CN201610645103.2
申请日:2016-08-09
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/951 , G06F16/9535
Abstract: 本发明实施例公开了一种搜索质量评估方法及装置,所述方法包括:基于用户历史搜索记录数据构造搜索质量评估数据库,所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据;针对所述至少一个查询关键词中的每个查询关键词,基于基线搜索策略和待评估搜索策略,分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果;基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。本发明实施例使整个评估过程完全自动化,以降低人工成本及人工干扰程度,并提高搜索质量评估准确度。
-
公开(公告)号:CN104714900B
公开(公告)日:2019-07-05
申请号:CN201510136331.2
申请日:2015-03-26
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F3/06
Abstract: 本发明提出一种数据读取方法和装置,该数据读取方法包括:接收发送端以并发方式发送的读数据请求;扫描所述读数据请求所请求的数据;将扫描到的数据携带在所述读数据请求对应的读数据响应中发送给所述发送端,所述读数据响应中携带的数据包包括数据标识,所述数据标识用于标识所述数据包扫描的先后顺序,以便所述发送端接收到所述数据包之后,根据所述数据标识对接收到的数据包进行排序。本发明中,发送端以并发方式向接收端发送读数据请求,从而可以使硬件的功能以最大效能运转,可以有效解决网络通信成本所导致的顺序访问吞吐量降低的问题,使整个系统的顺序访问吞吐量不受跨IDC和网络拓扑的影响,大大提高了系统对资源的利用率。
-
公开(公告)号:CN105550225B
公开(公告)日:2019-05-28
申请号:CN201510887819.9
申请日:2015-12-07
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/22 , G06F16/2455
CPC classification number: G06F16/00
Abstract: 本发明提供一种索引构建方法、查询方法及装置。在索引构建过程中,从查询请求的查询条件中提取查询项,获取用于指示满足查询项的数据所在数据行的数据行指示信息,将查询项及对应的数据行指示信息作为索引存储到索引文件中,由于不依赖于数据文件中的数据布局,因此不会破坏现有的数据布局,实现相对简单。另外,在使用索引文件进行数据查询过程中,根据索引文件中存储的已有查询项和已有查询项对应的数据行指示信息,对当前查询条件中能够被改写的查询项进行改写,使得改写后的查询条件变得相对简单,可以减少IO次数,有利于提高查询效率。
-
公开(公告)号:CN109063170A
公开(公告)日:2018-12-21
申请号:CN201810939821.X
申请日:2018-08-17
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明实施例提出一种智能查询方法、装置、终端和计算机可读存储介质,方法包括:接收来自客户端的查询指令,查询指令包括起始关系表的主键和至少一个终止关系表的属性;根据查询指令从预先生成的各查询计划中,确定出起始关系表与每一个终止关系表的属性对应的目标查询计划,目标查询计划包括从起始关系表的主键到一个终止关系表的属性的至少一条查询路径;从目标查询计划包括的各查询路径中,选择目标查询路径;根据目标查询路径,查询得到终止关系表的属性对应数据;将所查询到的数据发送至客户端。由于预先生成了各关系表间的查询计划,因此能够根据查询指令快速准确的找到目标查询计划和目标查询路径,提高智能查询的吞吐量和查询速度。
-
公开(公告)号:CN108337275A
公开(公告)日:2018-07-27
申请号:CN201710038708.X
申请日:2017-01-19
Applicant: 百度在线网络技术(北京)有限公司
IPC: H04L29/08
Abstract: 本申请公开了用于分发服务器的任务分发方法和装置。本申请中,分发服务器分别与终端设备、处理服务器集群通讯连接,该方法的一具体实施方式包括:接收终端设备发送的任务处理请求,确定该任务处理请求所指示的待处理任务;获取上述处理服务器集群中各处理服务器的特征信息;根据该特征信息,确定处理服务器集群中可用的处理服务器集合以及处理服务器集合中各处理服务器的任务量;根据各处理服务器的任务量,从可用的处理服务器集合中选出处理服务器作为目标处理服务器;将待处理任务分发给目标处理服务器,以便由该目标处理服务器处理上述待处理任务。该实施方式合理地分发调度了待处理任务。
-
-
-
-
-
-
-
-
-