公开(公告)号：CN113992208B

公开(公告)日：2024-05-03

申请号：CN202111383322.5

申请日：2021-11-22

Applicant: 东北大学

Inventor： 宋杰 ,  杨谦

IPC: H03M7/40

Abstract: 本发明提供一种优化流数据处理性能的半解压数据压缩方法，涉及流数据处理技术领域。该方法首先将流数据处理任务抽象为基于有向无环图的数据流动图；并将数据流动图用邻接表和逆邻接表的形式保存；再基于数据流动图对应的邻接表和逆邻接表，判断流数据处理任务的节点类型，初始节点将接收到的数据压缩后发送给中间计算节点；中间计算节点将接收到的数据部分解压用于计算，并将计算结果再次压缩后发送到后续节点；结束节点将接收到的数据部分解压后用于计算，完成计算任务。该方法不仅可以通过压缩减少传输数据量，从而减少网络传输耗时，同时通过半解压的方法减少部分解压耗时和计算耗时，从而提高流数据处理的性能。

公开(公告)号：CN113992208A

公开(公告)日：2022-01-28

申请号：CN202111383322.5

申请日：2021-11-22

Applicant: 东北大学

Inventor： 宋杰 ,  杨谦

IPC: H03M7/40

Abstract: 本发明提供一种优化流数据处理性能的半解压数据压缩方法，涉及流数据处理技术领域。该方法首先将流数据处理任务抽象为基于有向无环图的数据流动图；并将数据流动图用邻接表和逆邻接表的形式保存；再基于数据流动图对应的邻接表和逆邻接表，判断流数据处理任务的节点类型，初始节点将接收到的数据压缩后发送给中间计算节点；中间计算节点将接收到的数据部分解压用于计算，并将计算结果再次压缩后发送到后续节点；结束节点将接收到的数据部分解压后用于计算，完成计算任务。该方法不仅可以通过压缩减少传输数据量，从而减少网络传输耗时，同时通过半解压的方法减少部分解压耗时和计算耗时，从而提高流数据处理的性能。