一种大数据中流计算平台下的点对点流媒体实时监测方法

    公开(公告)号:CN105578212A

    公开(公告)日:2016-05-11

    申请号:CN201510933758.5

    申请日:2015-12-15

    Abstract: 本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统,点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息,使分析出的数据更加具有时效性,主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题,只有将FLASH P2P流量分离出来才能快速找到该隐含的信息,进行商用。通过HDFS存储实时数据,Mapreduce程序根据处理能力处理数据,对所有的数据进行两次map,筛选出符合要求的数据,其他数据则被删除。对数据进行reduce时,因为不需要做别的处理,可以直接整合输出。

    一种大数据中流计算平台下的点对点流媒体实时监测方法

    公开(公告)号:CN105578212B

    公开(公告)日:2019-02-19

    申请号:CN201510933758.5

    申请日:2015-12-15

    Abstract: 本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统,点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息,使分析出的数据更加具有时效性,主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题,只有将FLASH P2P流量分离出来才能快速找到该隐含的信息,进行商用。通过HDFS存储实时数据,Mapreduce程序根据处理能力处理数据,对所有的数据进行两次map,筛选出符合要求的数据,其他数据则被删除。对数据进行reduce时,因为不需要做别的处理,可以直接整合输出。

Patent Agency Ranking