一种大数据中流计算平台下的点对点流媒体实时监测方法

    公开(公告)号:CN105578212B

    公开(公告)日:2019-02-19

    申请号:CN201510933758.5

    申请日:2015-12-15

    Abstract: 本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统,点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息,使分析出的数据更加具有时效性,主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题,只有将FLASH P2P流量分离出来才能快速找到该隐含的信息,进行商用。通过HDFS存储实时数据,Mapreduce程序根据处理能力处理数据,对所有的数据进行两次map,筛选出符合要求的数据,其他数据则被删除。对数据进行reduce时,因为不需要做别的处理,可以直接整合输出。

    一种面向移动互联网自适应增量的内容聚合方法及系统

    公开(公告)号:CN106446160A

    公开(公告)日:2017-02-22

    申请号:CN201610847428.9

    申请日:2016-09-26

    CPC classification number: G06F17/30864

    Abstract: 本发明公开了一种面向移动互联网自适应增量的内容聚合方法及系统,对m个目标源网站预处理,记录m个目标源网站的导航页面数据,建立关于长度和数量的二维数学模型;爬取m个目标源网站,向下爬取每个目标源网站所存在的多个页面,计算每个页面的二维正态分布置信概率;并将按照降幂次序排列,及将每个页面下对应url地址的目标页面进入url地址池;爬取url地址池中位于顶部的url地址所对应目标页面,将所有url地址并进入url地址池,向量化计算相似度;判断是否异常;对url地址池中所有目标页面分析,爬取所需信息及进入信息所在页面;通过贝叶斯选择筛选并更新二维分布权重。本发明大大提高信息获取效率,减小了服务器负载量,保证了获得信息的完整性。

    一种弹性的云数据挖掘平台部署方法

    公开(公告)号:CN103561061B

    公开(公告)日:2016-08-10

    申请号:CN201310489309.7

    申请日:2013-10-17

    Abstract: 本发明是一种弹性的云数据挖掘平台部署方法,可以自由部署一个或多个hadoop集群并且不影响物理机用户的正常使用,尤其适用于机器数量有限的中小型集群。在面对cpu,带宽,内存,磁盘以及时间的不同需求时,可以灵活进行资源分配。这里不仅仅是指hadoop内部各节点之间的负载均衡,还包括与普通用户正常使用需求之间的协调,是整个集群内的负载均衡。将hadoop和openstack结合并加以改进,利用虚拟化使得数据挖掘集群的部署更加简单灵活,并且同时给用户提供虚拟机作为日常使用,不会影响原有工作。

    一种云计算用户数据检查的方法

    公开(公告)号:CN103002040B

    公开(公告)日:2015-04-08

    申请号:CN201210543765.0

    申请日:2012-12-14

    Abstract: 本发明涉及一种云计算用户数据检查的方法,为了确保云计算用户数据完整性和节省用户计算资源和通信负担,建立可靠地检查制度尤为关键,借助于第三方检查(TPA)来代理用户进行检查工作,它可以代理用户进行周期性的数据完整性检查,它采用基于同态线性认证的技术,确保TPA在没有取得用户数据的前提下能够正确代理用户进行检查工作,取得了隐私保护的目的,保证了云计算用户数据的安全。为了提高安全性和可靠性,本方案对此进行改进,增加了对用户数据块的认证过程,使得在检查数据块之前由TPA代理检查用户数据块签名,提高了检查的可靠性。

    一种基于网络感知的虚拟机放置方法

    公开(公告)号:CN103825946A

    公开(公告)日:2014-05-28

    申请号:CN201410065163.8

    申请日:2014-02-26

    Abstract: 本发明公开了一种基于网络感知的虚拟机放置方法,用于提高云计算环境下虚拟机资源利用率以及数据密集型程序的运行效率,属于云计算技术领域。该方法在考虑到网络带宽的情况下将将承载着应用程序的虚拟机放置到相应的物理机上,使其数据访问时间最小,并且当该虚拟机的数据访问时间不能满足要求时,运用概率统计知识,将它迁移到其它物理机上,从而使虚拟机拥有更合理的数据访问时间并且在以后的一段时间里也能维持合理的数据访问时间。

    云存储数据的一致性维护方法及云存储系统

    公开(公告)号:CN103780426A

    公开(公告)日:2014-05-07

    申请号:CN201410014710.X

    申请日:2014-01-13

    Abstract: 本发明公开了一种云存储数据的一致性维护方法,属于云计算和云存储技术领域。本发明方法根据数据的历史读写频率,将数据分为四类:读稀疏型、写稀疏型、读写稀疏型和读写密集型;对于读稀疏型和读写稀疏型数据,使用基于pull的数据一致性维护方法;对于写稀疏型数据,使用基于push的数据一致性维护方法;对于读写密集型数据,如当前时刻距该数据下一次更新时刻之间的时间段大于或等于预设的时间阈值,使用基于pull的数据一致性维护方法,否则,使用基于push的数据一致性维护方法。本发明还公开了一种使用上述一致性维护方法的云存储系统。本发明在保证数据一致性的前提下降低了系统资源消耗,降低了网络阻塞的可能。

    一种云计算环境下的用户统一认证方法

    公开(公告)号:CN103259663A

    公开(公告)日:2013-08-21

    申请号:CN201310166062.5

    申请日:2013-05-07

    Abstract: 本发明是给出一种云计算环境下的用户统一认证方法,主要用于解决云环境下用户登录云平台和在云平台上进行相关操作的认证问题,保证认证的可靠性及只有认证过的用户的才能操作相应的云资源,用户的合法性在进入云环境之前要通过可靠的认证,所提出的框架提供了统一用户管理,互相认证及一次登录即可访问所有应用服务的功能,用户需要经过与服务器之间进行相互认证,认证通过后认证服务器生成标识认证成功的凭证,然后发送给客户端,客户端收到认证服务器端的会话密钥后就去访问相应的云应用程序,云应用程序通过与认证服务器之间的交互来检查用户提供的凭证的合法性,如果合法就查看用户是否有访问权限,如果有,用户就可以访问相应的服务。

    一种动态自适应的网格数据迁移方法

    公开(公告)号:CN101299198B

    公开(公告)日:2011-08-31

    申请号:CN200810124152.7

    申请日:2008-06-13

    Abstract: 一种动态自适应的网格数据迁移方法是一种对网格下数据需要迁移时的一种动态自适应的机制,它主要有数据迁移控制器、目标节点选择器、索引分析器以及数据迁移操作核心等部分组成。当网格中某节点的数据如果不能满足当前用户的数据服务质量,或者造成了网络带宽的浪费时,此时该节点上的数据需要进行迁移,通过选择该节点的可达带宽、该节点的本地管理系统属性、本节点的数据访问负载以及当前待迁移数据的大小等因素,然后对这些因素进行预处理,利用基因表达式编程的算法思想来挖掘目标节点与这些因素的函数关系,通过挖掘得到的函数关系可以更好地进行目标节点的选择。

    一种应用于数据网格的协同学习入侵检测方法

    公开(公告)号:CN101431416B

    公开(公告)日:2011-04-20

    申请号:CN200810243907.5

    申请日:2008-12-10

    Abstract: 一种应用于数据网格的协同学习入侵检测方法,它汲取了当前入侵检测领域分布式检测和集成学习等热门技术的优点,将异常检测和特征检测方法结合起来,采用BP神经网络协同学习,优势互补,使基于该方法设计的入侵检测系统能够更好地应用于数据网格环境。该方法根据数据网格中不同种类节点的安全需求,在中心节点上部署多个BP神经网络集成的强检测器,并且随时搜集来自各地的新型入侵样本特征,确保了中心节点上重要副本的安全性。同时在中心节点上部署协同入侵分析引擎,为众普通节点提供协同检测服务,中心节点组织很多个普通节点一起参与协同计算,能够检测出原来单个节点所无法判断的怀疑数据,提高了普通节点的安全性。

Patent Agency Ranking