-
公开(公告)号:CN107257307B
公开(公告)日:2020-06-02
申请号:CN201710514864.9
申请日:2017-06-29
Applicant: 中国矿业大学
Abstract: 一种基于Spark的并行化遗传算法求解多终端协同接入网络方法,适用于通信终端集与大型服务器协同工作。步骤为:大型服务器确认接入通信终端的数量和网络终端参数;大型服务器将所有的网络终端参数信息存储于集群的HDFS目录中;以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息;对切分后的信息进行基于Spark集群的并行化遗传算法,得到适合当前的多终端协同接入网络方案的最终代种群数据;对最终代种群数据寻优,从而得到最优网络方案;利用最优网络方案与多个通信终端进行并行化网络通信。其能够在Spark集群的多个节点上实现完全的并行化遗传算法优选终端集协同接入网络,降低了网络终端选择的复杂度和计算量,显著提高网络终端的选择质量和传输速率。
-
公开(公告)号:CN107247973A
公开(公告)日:2017-10-13
申请号:CN201710514364.5
申请日:2017-06-29
Applicant: 中国矿业大学
IPC: G06K9/62
CPC classification number: G06K9/6269 , G06K9/6229 , G06K9/6256
Abstract: 一种基于spark的支持向量机参数优选并行粒子群寻优方法,适用于机器学习模型训练。将所有节点粒子的初始化信息转化成RDD的形式存储;对不同地址坐标参数的节点粒子交叉验证,节点粒子映射为交叉验证的正确率、粒子的个体极值;利用所有节点粒子的个体极值找到全局极值;根据全局极值在各个RDD中更新节点粒子;判断该全局极值是否达到目标正确率或迭代次数达到上限,达到就退出寻优过程,否则重复对节点粒子分别并行的做交叉验证。其寻优过程运行速度快,搜索范围大,粒子群算法寻找全局最优准确迅速。
-
公开(公告)号:CN106502964A
公开(公告)日:2017-03-15
申请号:CN201611110439.5
申请日:2016-12-06
Applicant: 中国矿业大学
IPC: G06F17/16
CPC classification number: G06F17/16
Abstract: 本发明公开了一种基于大数据处理平台Spark的极限学习机并行化计算方法,适用于大数据处理平台Spark机器学习领域使用。首先将样本数据集按照每个样本逐行存储于分布式文件系统,并对样本集进行预处理得到特征矩阵以及类别标签向量T;接下来,按照样本特征数以及隐节点数目随机初始化隐层节点参数:权重矩阵ω以及隐层偏差向量b;之后利用矩阵乘并行化方案求解得到隐层输出矩阵H;最后利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解 其步骤简单,计算量小,可以将计算步骤在多台计算机上并行计算,从而有效提高计算效率,同时容错性好,能够使得极限学习机算法在大数据背景下进行模型训练的效率大幅提升。
-
公开(公告)号:CN106502964B
公开(公告)日:2019-03-26
申请号:CN201611110439.5
申请日:2016-12-06
Applicant: 中国矿业大学
IPC: G06F17/16
Abstract: 本发明公开了一种基于大数据处理平台Spark的极限学习机并行化计算方法,适用于大数据处理平台Spark机器学习领域使用。首先将样本数据集按照每个样本逐行存储于分布式文件系统,并对样本集进行预处理得到特征矩阵以及类别标签向量T;接下来,按照样本特征数以及隐节点数目随机初始化隐层节点参数:权重矩阵ω以及隐层偏差向量b;之后利用矩阵乘并行化方案求解得到隐层输出矩阵H;最后利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解其步骤简单,计算量小,可以将计算步骤在多台计算机上并行计算,从而有效提高计算效率,同时容错性好,能够使得极限学习机算法在大数据背景下进行模型训练的效率大幅提升。
-
公开(公告)号:CN107257307A
公开(公告)日:2017-10-17
申请号:CN201710514864.9
申请日:2017-06-29
Applicant: 中国矿业大学
Abstract: 一种基于Spark的并行化遗传算法求解多终端协同接入网络方法,适用于通信终端集与大型服务器协同工作。步骤为:大型服务器确认接入通信终端的数量和网络终端参数;大型服务器将所有的网络终端参数信息存储于集群的HDFS目录中;以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息;对切分后的信息进行基于Spark集群的并行化遗传算法,得到适合当前的多终端协同接入网络方案的最终代种群数据;对最终代种群数据寻优,从而得到最优网络方案;利用最优网络方案与多个通信终端进行并行化网络通信。其能够在Spark集群的多个节点上实现完全的并行化遗传算法优选终端集协同接入网络,降低了网络终端选择的复杂度和计算量,显著提高网络终端的选择质量和传输速率。
-
公开(公告)号:CN110210499B
公开(公告)日:2023-10-13
申请号:CN201910477799.6
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的自适应生成系统,属于图像语义描述技术领域。该系统包括图像读取器、编码器、解码器和语义描述显示器;所述图像读取器,用于获取待语义描述的图像;所述编码器包括全局特征提取单元、局部特征提取单元以及图像特征组合单元;所述解码器包括单层或多层神经网络,所述神经网络包括LSTM部分、Attention部分和MLP部分,生成语义描述模型;其中,Attention部分采用自适应注意力机制;所述解码器根据所述编码器输出的组合信息利用所述语义描述模型生成图像语义描述的词句;所述语义描述显示器,用于输出显示所述图像语义描述的词句。本发明实现了确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
公开(公告)号:CN110210499A
公开(公告)日:2019-09-06
申请号:CN201910477799.6
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的自适应生成系统,属于图像语义描述技术领域。该系统包括图像读取器、编码器、解码器和语义描述显示器;所述图像读取器,用于获取待语义描述的图像;所述编码器包括全局特征提取单元、局部特征提取单元以及图像特征组合单元;所述解码器包括单层或多层神经网络,所述神经网络包括LSTM部分、Attention部分和MLP部分,生成语义描述模型;其中,Attention部分采用自适应注意力机制;所述解码器根据所述编码器输出的组合信息利用所述语义描述模型生成图像语义描述的词句;所述语义描述显示器,用于输出显示所述图像语义描述的词句。本发明实现了确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
公开(公告)号:CN110188779A
公开(公告)日:2019-08-30
申请号:CN201910477031.9
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的生成方法,属于图像语义描述技术领域。该方法包括以下步骤:S1,提取图像的全局特征和局部特征;S2,将所述全局特征和所述局部特征进行组合得到组合信息;S3,通过自适应注意力机制并根据所述组合信息聚焦图像特征及聚焦文本生成语义描述模型,利用所述语义描述模型生成图像语义描述的词句。本发明解决了目前图像语义描述技术存在的确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
公开(公告)号:CN108776820A
公开(公告)日:2018-11-09
申请号:CN201810582698.0
申请日:2018-06-07
Applicant: 中国矿业大学
Abstract: 本发明公开了一种利用宽度神经网络改进的随机森林集成方法,适用于机器学习领域。主要包括模型设计和模型训练两部分,模型设计部分主要包括特征映射层和增强层的设计、输出权重的设计两部分,通过设计随机森林和完全随机森林组成的神经网络节点,以自适应调节模型的宽度,通过节点的平均准确率得到本地权重计算输出权重,最后求解最终输出向量。其自动化程度高,通过训练自适应决定模型大小,理论分析容易、可解释性以及并行化能力强。
-
-
-
-
-
-
-
-