-
公开(公告)号：CN111435939B
公开(公告)日：2023-05-05
申请号：CN201910030429.8
申请日：2019-01-14
Applicant: 百度在线网络技术(北京)有限公司
IPC: H04L67/1097 , G06F3/06
Abstract: 本申请实施例公开了用于划分节点的存储空间的方法。该方法的一具体实施方式包括：根据数据输出节点组中的数据输出节点的数目和数据输入节点组中的数据输入节点的数目，将数据输出节点组和数据输入节点组划分成至少一个节点分组，其中，节点分组包括数据输出节点和数据输入节点；响应于节点分组中数据输出节点的数目与数据输入节点的数目不等，对节点分组中数目少的类型的节点进行存储空间划分。该实施方式有助于实现对数据输出节点或数据输入节点进行存储空间划分。
-
公开(公告)号：CN111211993A
公开(公告)日：2020-05-29
申请号：CN201811388343.4
申请日：2018-11-21
Applicant: 百度在线网络技术(北京)有限公司
IPC: H04L12/811 , H04L12/801 , H04L12/863 , H04L12/891 , G06F11/14
Abstract: 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中，流式计算由多个节点进行，方法包括：获取当前节点的新增数据，并将新增数据根据操作类型分为多个数据单元，将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并，以获得当前节点的持久化数据。由此，本发明实施例实现了在将数据存入存储系统后，将合并后的存储数据作为持久化数据，从而减少了存储系统中持久化数据的数据总量，降低了对系统存储资源的消耗，解决了现有技术中持久化数据总量过大的技术问题。
-
公开(公告)号：CN111435939A
公开(公告)日：2020-07-21
申请号：CN201910030429.8
申请日：2019-01-14
Applicant: 百度在线网络技术(北京)有限公司
Abstract: 本申请实施例公开了用于划分节点的存储空间的方法。该方法的一具体实施方式包括：根据数据输出节点组中的数据输出节点的数目和数据输入节点组中的数据输入节点的数目，将数据输出节点组和数据输入节点组划分成至少一个节点分组，其中，节点分组包括数据输出节点和数据输入节点；响应于节点分组中数据输出节点的数目与数据输入节点的数目不等，对节点分组中数目少的类型的节点进行存储空间划分。该实施方式有助于实现对数据输出节点或数据输入节点进行存储空间划分。
-
Patent Agency Ranking
公开(公告)号：CN111125163B
公开(公告)日：2023-06-06
申请号：CN201811275535.4
申请日：2018-10-30
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/2455
Abstract: 本申请实施例公开了用于处理数据的方法和装置。该方法的一具体实施方式包括：从流式计算系统中数据流流至的目标数据处理节点的上游数据处理节点获取待处理数据和与待处理数据对应的数据处理日志；查询与上游节点算子标识和上游节点标识二者对应的已处理数据最大序号；响应于确定上游节点当前数据序号大于所确定的已处理数据最大序号，对待处理数据进行处理，得到结果数据，将目标数据处理节点的当前数据序号递增预设增量数目；最后，将结果数据、数据处理日志和目标数据处理节点的当前数据序号对应持久化存储。该实施方式降低了数据处理节点的数据去重操作所需的存储空间。
-
公开(公告)号：CN111125163A
公开(公告)日：2020-05-08
申请号：CN201811275535.4
申请日：2018-10-30
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/2455
Abstract: 本申请实施例公开了用于处理数据的方法和装置。该方法的一具体实施方式包括：从流式计算系统中数据流流至的目标数据处理节点的上游数据处理节点获取待处理数据和与待处理数据对应的数据处理日志；查询与上游节点算子标识和上游节点标识二者对应的已处理数据最大序号；响应于确定上游节点当前数据序号大于所确定的已处理数据最大序号，对待处理数据进行处理，得到结果数据，将目标数据处理节点的当前数据序号递增预设增量数目；最后，将结果数据、数据处理日志和目标数据处理节点的当前数据序号对应持久化存储。该实施方式降低了数据处理节点的数据去重操作所需的存储空间。
-
公开(公告)号：CN111211993B
公开(公告)日：2023-08-11
申请号：CN201811388343.4
申请日：2018-11-21
Applicant: 百度在线网络技术(北京)有限公司
Abstract: 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中，流式计算由多个节点进行，方法包括：获取当前节点的新增数据，并将新增数据根据操作类型分为多个数据单元，将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并，以获得当前节点的持久化数据。由此，本发明实施例实现了在将数据存入存储系统后，将合并后的存储数据作为持久化数据，从而减少了存储系统中持久化数据的数据总量，降低了对系统存储资源的消耗，解决了现有技术中持久化数据总量过大的技术问题。
-
公开(公告)号：CN111083067B
公开(公告)日：2023-04-25
申请号：CN201811222706.7
申请日：2018-10-19
Applicant: 百度在线网络技术(北京)有限公司
IPC: H04L47/41 , H04L47/27 , H04L47/10 , H04L47/31 , H04L61/4511
Abstract: 本发明提出一种数据流拼接的方法、装置、存储介质和终端设备，其中，所述方法包括：获取所述订阅后端已接收的来自传输服务器的数据流中的各订阅数据的第一数据产生时间；获取所述数据流中的、所述传输服务器已接收但所述订阅后端尚未接收到的各订阅数据的第二数据产生时间；根据获取到的第一数据产生时间和第二数据产生时间，确定所述数据流的时间戳；以及根据所述数据流的时间戳，决定是否触发所述数据流的数据拼接。采用本发明，可以准确地判断数据延迟，提高数据流拼接的准确度。
-
公开(公告)号：CN111083067A
公开(公告)日：2020-04-28
申请号：CN201811222706.7
申请日：2018-10-19
Applicant: 百度在线网络技术(北京)有限公司
IPC: H04L12/891 , H04L12/801 , H04L12/807 , H04L12/833 , H04L29/12
Abstract: 本发明提出一种数据流拼接的方法、装置、存储介质和终端设备，其中，所述方法包括：获取所述订阅后端已接收的来自传输服务器的数据流中的各订阅数据的第一数据产生时间；获取所述数据流中的、所述传输服务器已接收但所述订阅后端尚未接收到的各订阅数据的第二数据产生时间；根据获取到的第一数据产生时间和第二数据产生时间，确定所述数据流的时间戳；以及根据所述数据流的时间戳，决定是否触发所述数据流的数据拼接。采用本发明，可以准确地判断数据延迟，提高数据流拼接的准确度。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.033 seconds)
