一种数值融合模型构建方法及装置

    公开(公告)号:CN107609395B

    公开(公告)日:2020-10-13

    申请号:CN201710774812.5

    申请日:2017-08-31

    Abstract: 本发明公开了一种数值融合模型构建方法及装置,该方法包括:获取数值融合维度信息;根据数值融合的每个维度信息的数据分布特征,采用与所述每个维度信息对应的归一化算法,计算得到每个维度信息对应的归一化数值;分析各个维度信息的逻辑关系,对满足预设逻辑关系条件的两个维度信息的归一化数值进行维度融合计算,得到维度融合计算值;将所述维度融合计算值与剩余维度信息的归一化数值进行多维度数值融合处理,构建生成数值融合模型。通过本发明实现了非线性归一化处理和多维度综合准确评价的目的。

    一种图像处理方法及装置

    公开(公告)号:CN107563973A

    公开(公告)日:2018-01-09

    申请号:CN201710697106.5

    申请日:2017-08-15

    Inventor: 耿星 刁志刚 薛岭

    Abstract: 本发明提出一种图像处理方法及装置。一种图像处理方法,包括:获取待处理的彩色图像;对所述彩色图像进行边缘去噪处理;对边缘去噪处理后的所述彩色图像进行灰度值转化处理,得到灰度图像。采用上述方法实现图像灰度转化处理,使得到的灰度图像更易于识别,利于提高图像识别精度。

    一种异常数据的识别方法和装置

    公开(公告)号:CN107508789B

    公开(公告)日:2020-04-07

    申请号:CN201710515872.5

    申请日:2017-06-29

    Inventor: 薛岭 刁志刚 耿星

    Abstract: 本发明公开了一种异常数据的识别方法和装置,该识别方法包括:收集业务系统的全部数据,从全部数据中获取通过IP访问URL的起讫时间;获取每一等级PKI访问IP的起讫时间;根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间,确定每一等级PKI通过IP访问URL的起讫时间;根据每一等级PKI通过IP访问URL的起讫时间,筛选出潜在的异常访问;统计预设时间段内每天潜在的异常访问的累计次数和累计时间,并计算高度异常值;根据高度异常值,确定预设时间段内PKI通过IP访问URL的异常程度。本发明能够识别对数据的异常访问行为,不仅解决了现在技术无法检查异常访问行为的问题,并且在检测用户访问URL的行为以及数据泄露问题上有着监控和预警功能。

    一种数值融合模型构建方法及装置

    公开(公告)号:CN107609395A

    公开(公告)日:2018-01-19

    申请号:CN201710774812.5

    申请日:2017-08-31

    Abstract: 本发明公开了一种数值融合模型构建方法及装置,该方法包括:获取数值融合维度信息;根据数值融合的每个维度信息的数据分布特征,采用与所述每个维度信息对应的归一化算法,计算得到每个维度信息对应的归一化数值;分析各个维度信息的逻辑关系,对满足预设逻辑关系条件的两个维度信息的归一化数值进行维度融合计算,得到维度融合计算值;将所述维度融合计算值与剩余维度信息的归一化数值进行多维度数值融合处理,构建生成数值融合模型。通过本发明实现了非线性归一化处理和多维度综合准确评价的目的。

    基于SparkMLlib文档分类的类库构建方法及系统

    公开(公告)号:CN107577708A

    公开(公告)日:2018-01-12

    申请号:CN201710639999.8

    申请日:2017-07-31

    Inventor: 刁志刚 耿星 薛岭

    Abstract: 本发明提供了一种基于SparkMLlib文档分类的类库构建方法,包括:获取SparkMLlib的运行参数,其中,运行参数包括平滑参数和模型类型;去除已分类目标文档的类内高重复项;对目标文档的已知的分类类库中的分类项进行聚类,去除类内相似项;基于夹角余弦定理去除类内过离散项,生成新的文档分类的类库。本发明基于SparkMLlib的机器学习技术,以统计理论为基础,利用算法让机器具有类似人类般的自动学习能力,对已知的训练数据做统计分析从而获得规律形成类库,节约了大量人力成本,且减少了人工随机性大大提高了运算的准确程度。本发明还公开了一种基于SparkMLlib文档分类的类库构建系统。

    一种使用Apache Spark分类与解析海量日志的方法

    公开(公告)号:CN106227790A

    公开(公告)日:2016-12-14

    申请号:CN201610573035.3

    申请日:2016-07-19

    CPC classification number: G06F16/16 G06F16/1815 G06F16/35

    Abstract: 本发明公开了一种使用Apache Spark分类与解析海量日志的方法。方法包括利用日志数据接口,选取日志文件并将日志文件导入Apache Spark环境中;对日志文件的文件名和说明字段进行词条解析,并读取关键字段;根据决策树分类器,对关键字段进行分类,并形成日志文件的分类信息;根据Hive表结构,基于Scala从日志文件中匹配所需信息形成数据条并将数据条导入Hive表中;从Hive表中读取数据并统计状态信息;分析状态发生的频率、幅度,并形成最终数据状态报告。本发明具有实施简单、更快的解析速度、以及更高的解析准确性等优点。

    一种异常数据的识别方法和装置

    公开(公告)号:CN107508789A

    公开(公告)日:2017-12-22

    申请号:CN201710515872.5

    申请日:2017-06-29

    Inventor: 薛岭 刁志刚 耿星

    Abstract: 本发明公开了一种异常数据的识别方法和装置,该识别方法包括:收集业务系统的全部数据,从全部数据中获取通过IP访问URL的起讫时间;获取每一等级PKI访问IP的起讫时间;根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间,确定每一等级PKI通过IP访问URL的起讫时间;根据每一等级PKI通过IP访问URL的起讫时间,筛选出潜在的异常访问;统计预设时间段内每天潜在的异常访问的累计次数和累计时间,并计算高度异常值;根据高度异常值,确定预设时间段内PKI通过IP访问URL的异常程度。本发明能够识别对数据的异常访问行为,不仅解决了现在技术无法检查异常访问行为的问题,并且在检测用户访问URL的行为以及数据泄露问题上有着监控和预警功能。

Patent Agency Ranking