-
公开(公告)号:CN104933160B
公开(公告)日:2019-06-28
申请号:CN201510363351.3
申请日:2015-06-26
Applicant: 河海大学 , 华能澜沧江水电股份有限公司
Abstract: 本发明公开了一种面向安全监测业务分析的ETL框架设计方法,包括数据抽取、数据转换和数据加载。数据抽取是指从多个异构数据源中获取源数据,通过使用XML适配器确认数据源和使用时间戳进行增量抽取完成;数据转换过程是连接数据抽取过程与数据加载过程的纽带,在该过程中使用“数据处理引擎”和“Redis存储引擎”两个组件进行数据转换;数据加载中,数据的加载主要为最初加载和增量装载两种装载类型,最初加载主要利用“批量加载引擎”进行处理,增量装载则使用“批量加载引擎”和“实时加载引擎”结合的方式进行处理。本发明可以实现异构数据的高度统一,为后续的决策支持工作打下基础。
-
公开(公告)号:CN104933160A
公开(公告)日:2015-09-23
申请号:CN201510363351.3
申请日:2015-06-26
Applicant: 河海大学 , 华能澜沧江水电股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/21 , G06F16/254
Abstract: 本发明公开了一种面向安全监测业务分析的ETL框架设计方法,包括数据抽取、数据转换和数据加载。数据抽取是指从多个异构数据源中获取源数据,通过使用XML适配器确认数据源和使用时间戳进行增量抽取完成;数据转换过程是连接数据抽取过程与数据加载过程的纽带,在该过程中使用“数据处理引擎”和“Redis存储引擎”两个组件进行数据转换;数据加载中,数据的加载主要为最初加载和增量装载两种装载类型,最初加载主要利用“批量加载引擎”进行处理,增量装载则使用“批量加载引擎”和“实时加载引擎”结合的方式进行处理。本发明可以实现异构数据的高度统一,为后续的决策支持工作打下基础。
-
公开(公告)号:CN105005822A
公开(公告)日:2015-10-28
申请号:CN201510361844.3
申请日:2015-06-26
Applicant: 华能澜沧江水电股份有限公司 , 河海大学
Abstract: 本发明公开了一种基于最优步长与模型动态选择的特高拱坝响应预测方法包括:数据预处理,确定数据中的错误值与缺失值;使用最优化步长和插值法预测数据,根据绝对误差选择最优插值模型,即最优参数包括:步长和插值方法,使用最优步长的样本数据和最优的插值方法,对待预测的反应特高拱坝工作性态的应力值进行预测;使用小波神经网络方法预测数据,将原始数据分为训练样本和测试样本,选定输入层的节点个数和迭代次数,用训练样本对小波神经网络进行训练,然后用训练好的小波神经网络预测测试样本;对实验得到的预测结果进行分析,用于对此次最优化步长和插值方法的应力预测模型和基于小波神经网络的应力预测结果进行评估,确定应力安全阈值。
-
公开(公告)号:CN104462808B
公开(公告)日:2017-06-16
申请号:CN201410735262.2
申请日:2014-12-04
Applicant: 河海大学
IPC: G06F19/00
Abstract: 本发明公开了一种基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法。所述方法包括以下步骤:数据导入与预处理,导入水平位移与水位数据,将拟合所需要的数据导入到工作平台上,通过剔除空值和利用箱线图模型处理异常值进行数据预处理;选取最优模型,根据样本均方差选择最优模型,包括选择最优步长和最优函数模型;预测数据,用选择的最优函数模型所需预测当天前一天的值,与真实值进行比较得到误差值,计算出模型的精确程度,用所得到的模型对所需预测当天的水平位移进行预测;结果验证与报表生成,将已有预测值保存,与现有真实数据进行对比,用于评估当前函数模型和数据拟合方法,并对此次拟合方法得到的结果生成报表上报。
-
公开(公告)号:CN104462808A
公开(公告)日:2015-03-25
申请号:CN201410735262.2
申请日:2014-12-04
Applicant: 河海大学
IPC: G06F19/00
Abstract: 本发明公开了一种基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法。所述方法包括以下步骤:数据导入与预处理,导入水平位移与水位数据,将拟合所需要的数据导入到工作平台上,通过剔除空值和利用箱线图模型处理异常值进行数据预处理;选取最优模型,根据样本均方差选择最优模型,包括选择最优步长和最优函数模型;预测数据,用选择的最优函数模型所需预测当天前一天的值,与真实值进行比较得到误差值,计算出模型的精确程度,用所得到的模型对所需预测当天的水平位移进行预测;结果验证与报表生成,将已有预测值保存,与现有真实数据进行对比,用于评估当前函数模型和数据拟合方法,并对此次拟合方法得到的结果生成报表上报。
-
公开(公告)号:CN107256245B
公开(公告)日:2020-05-05
申请号:CN201710409006.8
申请日:2017-06-02
Applicant: 河海大学
IPC: G06F16/35
Abstract: 本发明公开了一种面向垃圾短信分类的离线模型改进与选择方法,包括以下步骤:(1)特征选择与扩展,使用特征选择方法选择特征,构造特征词向量,使用特征词向量模型表示原始短信文本;(2)离线分类算法及改进的调优训练与测试,对离线分类算法作面向垃圾短信分类的改进,根据各离线分类算法及改进对步骤(1)所得的训练集和测试集进行数据准备,使用训练集对各离线算法及改进进行调优训练和测试;(3)基于评价指标的离线分类算法选择,提出面向垃圾短信分类的评价指标,使用该评价指标对步骤(2)所得到的测试结果进行分析并选择最优离线分类算法。
-
公开(公告)号:CN107193804B
公开(公告)日:2019-03-29
申请号:CN201710408048.X
申请日:2017-06-02
Applicant: 河海大学
IPC: G06F17/27
Abstract: 本发明公开了一种面向词和组合词的垃圾短信文本特征选择方法,所述方法包括以下步骤:(1)基于统计阈值和平均信息增益的频繁词特征选择;(2)基于N‑Gram算法的双字词和组合词特征选择;(3)非修饰性实词组合成元组特征,遍历所有的垃圾短信文本寻找名词+动词\形容词组合,根据一定的标准对所得元组特征进行筛选;(4)基于累积信息增益的特征选择,选择累积信息增益达到原始特征词信息增益总和的95%的特征词,进而构建特征词向量;(5)基于垃圾短信分类评价指标的特征工程优化,加入信息量特征、基于改进几率比的特征选择、基于随机森林和逻辑回归的特征选择。
-
公开(公告)号:CN104809205B
公开(公告)日:2018-03-20
申请号:CN201510206245.4
申请日:2015-04-27
Applicant: 河海大学
Abstract: 本发明公开了一种在线河网时空异常事件检测方法,包括以下步骤:首先,利用连通支配集算法选出骨干节点,只检测在每个时间戳传感网中骨干节点的状态;然后,检测骨干节点是否发生时空异常事件;如果骨干节点发生了时间异常,将骨干节点的孩子节点加入到检测的候选集里;将发生时间异常的骨干节点通过贝叶斯网络学习获得的预期状态与观测状态做比较,看是否偏离了学习获得的空间关系,如果发生空间异常,时空异常计数器加1。在下一个时间戳,扩大检测范围,包括骨干节点和候选集中的节点,继续检测是否发生空间异常或时间异常。最后,当骨干节点及它的候选集节点时空异常的数目达到阈值Q时,便认为发生时空异常事件。
-
公开(公告)号:CN107193804A
公开(公告)日:2017-09-22
申请号:CN201710408048.X
申请日:2017-06-02
Applicant: 河海大学
IPC: G06F17/27
CPC classification number: G06F17/2775 , G06F17/2715 , G06F17/277
Abstract: 本发明公开了一种面向词和组合词的垃圾短信文本特征选择方法,所述方法包括以下步骤:(1)基于统计阈值和平均信息增益的频繁词特征选择;(2)基于N‑Gram算法的双字词和组合词特征选择;(3)非修饰性实词组合成元组特征,遍历所有的垃圾短信文本寻找名词+动词\形容词组合,根据一定的标准对所得元组特征进行筛选;(4)基于累积信息增益的特征选择,选择累积信息增益达到原始特征词信息增益总和的95%的特征词,进而构建特征词向量;(5)基于垃圾短信分类评价指标的特征工程优化,加入信息量特征、基于改进几率比的特征选择、基于随机森林和逻辑回归的特征选择。
-
公开(公告)号:CN104268159B
公开(公告)日:2017-06-20
申请号:CN201410447265.6
申请日:2014-09-03
Applicant: 河海大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于动态镜像的实时数据仓库预存取方法。所述方法包括以下步骤,首先,建立基于实时数据仓库的分类ETL结构;然后,在数据仓库外部构建动态存储区域,动态存储区域由多个数据镜像与基于双重链接的镜像索引组成;最后,通过动态镜像创建、回收算法,对镜像进行管理,主要是动态镜像创建、动态镜像分配和基于双重链接的镜像索引维护。通过在实时数据仓库外部创建一个由多个镜像组成的实时数据存储区域,并建立基于双重链接的镜像索引,方便快速查找最新加载的数据,有效解决实时数据仓库的查询竞争问题,提升实时数据查询结果的精度。
-
-
-
-
-
-
-
-
-