一种面向流计算系统异常感知的容错方法及系统

    公开(公告)号:CN106844083A

    公开(公告)日:2017-06-13

    申请号:CN201710090523.3

    申请日:2017-02-20

    Abstract: 本发明公开了一种面向流计算系统异常感知的容错方法及系统,包括计算模块、系统监控模块、动态扩展模块、错误恢复模块和计算资源池模块。系统监控模块周期性的检测系统中各个工作节点的计算状态,当检测到工作节点的状态为警告时,通过系统监控模块、动态扩展模块、错误恢复模块及计算资源池模块之间的相互配合,对处于警告状态的工作节点进行预防性的错误恢复;系统监控模块进一步监控处于警告状态的工作节点,根据工作节点的状态从警告分别到错误、正常和异常之间转变,错误恢复模块做出不同的处理。这是一种在实现流计算系统中对用户透明的容错方法;本发明具有完整的错误恢复过程,并且提高了流计算系统的错误恢复效率。

    一种基于区域划分的异常轨迹检测方法

    公开(公告)号:CN105785411B

    公开(公告)日:2018-10-12

    申请号:CN201610102351.2

    申请日:2016-02-24

    Abstract: 本发明提出了一种基于区域划分的异常轨迹检测方法,包括对移动对象的历史轨迹进行分类,然后对正常轨迹数据所在的区域进行划分;对区域划分后的轨迹进行区域单元扩展处理;对待检测的轨迹区域划分和扩展处理;查询出正常轨迹中与待检测轨迹具有相同起始区域单元和终止区域单元的轨迹集合,使用检测待检测轨迹每个组成区域单元在正常轨迹集合中的支持率,具有低支持率的区域单元进入异常区域单元集合中;比较异常区域单元集合的数量和正常轨迹集合中轨迹的组成区域单元数量的关系判断待检测轨迹的异常情况,再决定是否需要进一步对轨迹区域进行再划分检测。本发明根据轨迹的实际情况进行了区域再划分检测,提高检测准确率和效率。

    一种基于局部最优化的社区发现方法

    公开(公告)号:CN108400889A

    公开(公告)日:2018-08-14

    申请号:CN201810087064.8

    申请日:2018-01-30

    Abstract: 本发明涉及复杂网络中的社区发现领域,具体公开了一种基于局部最优化的社区发现方法,其是在LFM(Local Fitness Maximum)算法的基础上,一方面提出一种融合网络中节点间连边社会属性和共同邻居节点度的加权方法,利用所形成的连边权重来更新LFM算法中的适应度函数。另一方面在LFM算法局部最优化的过程中引入局部社区稳定度的概念,计算节点加入局部社区前后社区稳定度的变化来判定该节点对社区稳定度的贡献程度,以此作为节点是否被加入社区的准则。本发明的方法避免了超大社区的出现,容易发现网络中更有意义的小团体结构,适用于真实的社会网络。

    一种面向排序预测的社会化推荐方法

    公开(公告)号:CN108470075A

    公开(公告)日:2018-08-31

    申请号:CN201810325581.4

    申请日:2018-04-12

    Abstract: 本发明公开了一种面向排序预测的社会化推荐方法,该方法通过利用用户和项目隐含特征,进一步提高了排序预测的精度。首先利用PL模型将项目的潜在特征和使用LFM提取的用户潜在特征进行建模;之后利用用户作为信任者和受托者特征来构建多维信任模型;最后将两者联合建模,构建排序预测模型,接着对模型进行优化处理,从而得到最优的前N个推荐列表。该方法是在考虑社交网络结构信息的同时,将用户两个不同的角色作为信任者和受托者建模,从而将社会信息结合到推荐中,这使得数据稀疏的情况下也能带到达到优化推荐结果的目的。

    基于移动应用使用行为的用户分群聚类方法

    公开(公告)号:CN107704868B

    公开(公告)日:2020-06-16

    申请号:CN201710756048.9

    申请日:2017-08-29

    Abstract: 本发明提出一种基于移动应用使用行为的用户分群聚类方法,将SOM和Kmeans聚类算法相结合用于移动手机用户分群。该方法首先构建移动用户移动应用适用行为分析体系,将SOM和Kmeans方法相结合,对用户的移动应用上网行为进行分析,从而达到移动手机用户分群的目的。使用SOM‑Kmeans两段式聚类分析,综合了SOM算法计算简单且包容性好和Kmeans算法对数据集数量要求不高的优点,同时弥补SOM算法训练时间长,解决Kmeans算法初始值K难以确定的缺点。在以移动手机用户使用偏好矩阵为分析数据的移动手机用户聚类中,能在较短的时间内得到比较好的细分结果。

    一种面向流计算系统异常感知的容错方法及系统

    公开(公告)号:CN106844083B

    公开(公告)日:2020-05-12

    申请号:CN201710090523.3

    申请日:2017-02-20

    Abstract: 本发明公开了一种面向流计算系统异常感知的容错方法及系统,包括计算模块、系统监控模块、动态扩展模块、错误恢复模块和计算资源池模块。系统监控模块周期性的检测系统中各个工作节点的计算状态,当检测到工作节点的状态为警告时,通过系统监控模块、动态扩展模块、错误恢复模块及计算资源池模块之间的相互配合,对处于警告状态的工作节点进行预防性的错误恢复;系统监控模块进一步监控处于警告状态的工作节点,根据工作节点的状态从警告分别到错误、正常和异常之间转变,错误恢复模块做出不同的处理。这是一种在实现流计算系统中对用户透明的容错方法;本发明具有完整的错误恢复过程,并且提高了流计算系统的错误恢复效率。

    一种带状态流计算系统中的异常监控及预测方法和系统

    公开(公告)号:CN106844161B

    公开(公告)日:2020-03-17

    申请号:CN201710090521.4

    申请日:2017-02-20

    Abstract: 本发明提出了一种带状态流计算系统中的异常监控及预测方法和系统,该方法主要对带状态的流计算系统进行全面实时监控并采集系统性能指标;采用数据降维方法对分类器输入数据进行预处理,然后利用分类算法获取最优的分类平面;通过系统预测模块预测系统下一时刻的运行状态;将预测的运行状态构成的平面与分类器所得的最优分类平面进行比较,最终可以预测出系统是否出现异常,并根据检查结果对分类器进行更新,使得获取的分类平面能自适应系统运行状况,最终达到监控及预测系统运行状态的目的。降维处理不仅实现了降维的目的,减少特征向量的维数,而且缩短了训练时间,计算量并没有随着维数升高而增加很多。

    一种带状态流计算系统中的异常监控及预测方法和系统

    公开(公告)号:CN106844161A

    公开(公告)日:2017-06-13

    申请号:CN201710090521.4

    申请日:2017-02-20

    Abstract: 本发明提出了一种带状态流计算系统中的异常监控及预测方法和系统,该方法主要对带状态的流计算系统进行全面实时监控并采集系统性能指标;采用数据降维方法对分类器输入数据进行预处理,然后利用分类算法获取最优的分类平面;通过系统预测模块预测系统下一时刻的运行状态;将预测的运行状态构成的平面与分类器所得的最优分类平面进行比较,最终可以预测出系统是否出现异常,并根据检查结果对分类器进行更新,使得获取的分类平面能自适应系统运行状况,最终达到监控及预测系统运行状态的目的。降维处理不仅实现了降维的目的,减少特征向量的维数,而且缩短了训练时间,计算量并没有随着维数升高而增加很多。

    一种基于半监督学习的社交网络垃圾用户过滤方法

    公开(公告)号:CN106294590B

    公开(公告)日:2019-05-31

    申请号:CN201610614458.5

    申请日:2016-07-29

    Abstract: 本发明公开了一种基于半监督学习的社交网络垃圾用户过滤方法,将协同训练算法应用于社交网络垃圾用户检测。现有对社交网络中的海量信息进行的分类大多利用监督学习算法,该算法都是基于已标注数据建立的分类模型,但因社交信息规模庞大,标注数据所需人工成本巨大,且解决社交网络用户数据标注的方法不多。提出一种方法,借鉴协同训练算法,将多视图、多分类器运用到大量无标注或有少量标注的社交网络数据中,使不同视图上的分类器相互学习,实现数据标注的目的。

Patent Agency Ranking