公开(公告)号：CN113127512B

公开(公告)日：2023-09-29

申请号：CN202010043192.X

申请日：2020-01-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 程怡 ,  张小虎 ,  石然 ,  谭伟良

IPC: G06F16/2455

Abstract: 本申请公开了一种多数据流的数据拼接触发方法、装置、电子设备和介质，涉及大数据处理技术领域。具体实现方案为：接收多个数据流的数据，其中多个数据流包括一个主数据流和至少一个从数据流；对于主数据流，基于主数据流的主数据中携带的主事件时间，确定主数据流对应的主低水位值；对于各从数据流，基于从数据流的从数据中携带的从事件时间，确定从数据流对应的从低水位值；根据主低水位值和从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。由于低水位值反映数据流的数据到达进度，因此基于各数据流分别对应的低水位值，触发执行数据拼接操作，无需设置一个较大时间窗口，可有效减少资源开销，提升数据拼接的时效性。

公开(公告)号：CN113127512A

公开(公告)日：2021-07-16

申请号：CN202010043192.X

申请日：2020-01-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 程怡 ,  张小虎 ,  石然 ,  谭伟良

IPC: G06F16/2455

Abstract: 本申请公开了一种多数据流的数据拼接触发方法、装置、电子设备和介质，涉及大数据处理技术领域。具体实现方案为：接收多个数据流的数据，其中多个数据流包括一个主数据流和至少一个从数据流；对于主数据流，基于主数据流的主数据中携带的主事件时间，确定主数据流对应的主低水位值；对于各从数据流，基于从数据流的从数据中携带的从事件时间，确定从数据流对应的从低水位值；根据主低水位值和从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。由于低水位值反映数据流的数据到达进度，因此基于各数据流分别对应的低水位值，触发执行数据拼接操作，无需设置一个较大时间窗口，可有效减少资源开销，提升数据拼接的时效性。

公开(公告)号：CN111083067B

公开(公告)日：2023-04-25

申请号：CN201811222706.7

申请日：2018-10-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 程怡 ,  张小虎 ,  石然 ,  高伟康 ,  徐德传

IPC: H04L47/41 ,  H04L47/27 ,  H04L47/10 ,  H04L47/31 ,  H04L61/4511

Abstract: 本发明提出一种数据流拼接的方法、装置、存储介质和终端设备，其中，所述方法包括：获取所述订阅后端已接收的来自传输服务器的数据流中的各订阅数据的第一数据产生时间；获取所述数据流中的、所述传输服务器已接收但所述订阅后端尚未接收到的各订阅数据的第二数据产生时间；根据获取到的第一数据产生时间和第二数据产生时间，确定所述数据流的时间戳；以及根据所述数据流的时间戳，决定是否触发所述数据流的数据拼接。采用本发明，可以准确地判断数据延迟，提高数据流拼接的准确度。

公开(公告)号：CN111083067A

公开(公告)日：2020-04-28

申请号：CN201811222706.7

申请日：2018-10-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 程怡 ,  张小虎 ,  石然 ,  高伟康 ,  徐德传

IPC: H04L12/891 ,  H04L12/801 ,  H04L12/807 ,  H04L12/833 ,  H04L29/12

Abstract: 本发明提出一种数据流拼接的方法、装置、存储介质和终端设备，其中，所述方法包括：获取所述订阅后端已接收的来自传输服务器的数据流中的各订阅数据的第一数据产生时间；获取所述数据流中的、所述传输服务器已接收但所述订阅后端尚未接收到的各订阅数据的第二数据产生时间；根据获取到的第一数据产生时间和第二数据产生时间，确定所述数据流的时间戳；以及根据所述数据流的时间戳，决定是否触发所述数据流的数据拼接。采用本发明，可以准确地判断数据延迟，提高数据流拼接的准确度。