用于机器学习的参数寻优及特征调优的方法及系统

    公开(公告)号:CN104200087B

    公开(公告)日:2018-10-02

    申请号:CN201410422475.X

    申请日:2014-08-25

    Applicant: 清华大学

    Abstract: 本发明提出一种用于机器学习的参数寻优及特征调优的方法,包括以下步骤:随机生成多个参数集合;分别对多个参数集合进行基于EnKF的迭代优化;分别对优化后的多个参数集合进行性能评估,并根据评估结果得到集合池和补充参数集合,其中,集合池中的参数集合的性能高于补充参数集合中的参数集合的性能;对集合池中的参数集合和补充参数集合中的参数集合再次进行基于EnKF的迭代优化和性能评估,以得到最优参数集合。本发明的方法能够提升处理参数寻优的计算结果和计算效率,并且通用性强。本发明还提供了一种用于机器学习的参数寻优及特征调优的系统。

    一种大规模数据回归神经网络快速训练方法

    公开(公告)号:CN104598972A

    公开(公告)日:2015-05-06

    申请号:CN201510032856.1

    申请日:2015-01-22

    Applicant: 清华大学

    Abstract: 本发明涉及一种大规模数据回归神经网络快速训练方法,属于机器学习技术领域,该方法采用平均梯度方向和梯度残差主成分方向同时更新内部系数的大规模数据进行回归神经网络快速训练,通过误差反传得到各训练样本处目标函数对内部系数的梯度后,对训练样本进行分组,根据各训练样本处目标函数值分别对整个训练样本集和各组的梯度加权平均,在全局平均梯度和组平均梯度与全局平均梯度正交的残差主成分方向共同更新内部系数。本方法能够以较低的计算代价有效利用各训练样本处梯度信息,减小迭代步数,提升RNN训练过程的计算效率。

    用于机器学习的参数寻优及特征调优的方法及系统

    公开(公告)号:CN104200087A

    公开(公告)日:2014-12-10

    申请号:CN201410422475.X

    申请日:2014-08-25

    Applicant: 清华大学

    CPC classification number: G06N99/005

    Abstract: 本发明提出一种用于机器学习的参数寻优及特征调优的方法,包括以下步骤:随机生成多个参数集合;分别对多个参数集合进行基于EnKF的迭代优化;分别对优化后的多个参数集合进行性能评估,并根据评估结果得到集合池和补充参数集合,其中,集合池中的参数集合的性能高于补充参数集合中的参数集合的性能;对集合池中的参数集合和补充参数集合中的参数集合再次进行基于EnKF的迭代优化和性能评估,以得到最优参数集合。本发明的方法能够提升处理参数寻优的计算结果和计算效率,并且通用性强。本发明还提供了一种用于机器学习的参数寻优及特征调优的系统。

    数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN110865882A

    公开(公告)日:2020-03-06

    申请号:CN201810988672.6

    申请日:2018-08-28

    Applicant: 清华大学

    Abstract: 本发明涉及一种数据处理方法、装置、计算机设备和存储介质。应用于异构系统,异构系统包括第一处理器和第二处理器,第一处理器将每个待计算区域划分成外围区域和中心区域;采用预设的异构任务划分方法,第一处理器确定第一处理器的第一任务和第二处理器的第二任务;第一任务为处理所述外围区域的数据,第二任务为处理所述中心区域的数据;采用预设的浅水波方法,第一处理器和所述第二处理器分别执行相应的任务。采用不同的处理器处理不同的任务,使得各处理器处理数据的速度变高,进而使得不需要较高的计算机性能就能处理浅水波方法的数据,降低了对计算机性能的要求。

    数据处理方法、装置、计算机设备及可读存储介质

    公开(公告)号:CN110618832A

    公开(公告)日:2019-12-27

    申请号:CN201810628408.1

    申请日:2018-06-19

    Applicant: 清华大学

    Abstract: 本发明提供的数据处理方法、装置、计算机设备及可读存储介质,该方法包括:将每一个任务分块中的网格点数据区域进行划分,得到中心区域以及围绕中心区域的外围区域,通过FPGA对中心区域中的每一个网格点数据进行欧拉模板计算,得到第一计算结果,通过CPU获取与外围区域中每一个网格点所在任务分块相邻的任务分块中的网格点数据,对外围区域中的每一个网格点数据,以及获取的相邻的任务分块中的网格点数据进行欧拉模板计算,得到第二计算结果,通过CPU将第一计算结果和第二计算结果存储至存储空间。由于计算机设备将算法偏移,快速查找表和混合精度方法综合考虑到欧拉模板计算过程中,以降低欧拉模板计算对FPGA资源的需求,从而提高能耗功率。

    数据并行压缩方法
    6.
    发明授权

    公开(公告)号:CN103326730B

    公开(公告)日:2016-05-18

    申请号:CN201310223858.X

    申请日:2013-06-06

    Applicant: 清华大学

    Abstract: 一种数据并行压缩方法,该方法包括读取步骤,通过并行I/O从存储装置中读取待压缩数据;切分步骤,将待压缩数据均匀切分成N个数据块,并将所述N个数据块保存至每个数据块所对应的输入缓冲区;压缩编码步骤,每个进程控制对应的输入缓冲区中的数据块,并利用多线程的方法对该数据块进行并行压缩编码,将压缩编码后的数据存入输出缓冲区;写入步骤,合并输出缓冲区中各个进程并行压缩编码后的数据,并将所述合并后的数据写入输出文件中。该方法在取得理想的压缩比的同时,大大降低压缩过程对时间的开销,能够很好的应用于云存储或数据库系统中,解决压缩实时性不高的问题,提高了压缩的整体性能。

    数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN116089076B

    公开(公告)日:2023-11-28

    申请号:CN202211727084.X

    申请日:2022-12-30

    Applicant: 清华大学

    Abstract: 本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:对地震有限区域的地震属性数据进行数字网格化处理,得到网格化后的多个计算单元;根据预设的计算单元分类算法和多个计算单元,确定计算单元组,并根据预设的计算量处理策略确定各计算单元组的组计算量;根据各计算单元组对应的组计算量的大小以及预设的计算单元分配策略,将计算单元组分配至不同的数据处理进程;通过数据处理进程对计算单元组进行计算,得到地震波属性数据。采用本方法能够保证各数据处理进程的负载均衡,减少了数据处理等待时间,缩短得到地震波属性数据的时间,提高了地震波属性数据的计算效率。

    一种跨分辨率的建筑物影像提取方法及装置

    公开(公告)号:CN114549992A

    公开(公告)日:2022-05-27

    申请号:CN202210182051.5

    申请日:2022-02-25

    Applicant: 清华大学

    Abstract: 本申请提供了一种跨分辨率的建筑物影像提取方法及装置。该方法包括:获取低分辨率遥感影像,低分辨率遥感影像中包含建筑物;利用生成式对抗网络中的生成器对低分辨率遥感影像进行超分辨率重建,确定超分辨率遥感影像和建筑物的边缘特征;根据边缘特征,利用提取模型在超分辨率遥感影像中提取建筑物的影像。该方法可以实现跨分辨率建筑物影像提取,即在只有低分辨率遥感影像条件下,提取到相对高分辨率的建筑物影像。

    模型训练的方法、目标检测方法、存储介质及计算设备

    公开(公告)号:CN114663760B

    公开(公告)日:2025-03-11

    申请号:CN202210302367.3

    申请日:2022-03-25

    Applicant: 清华大学

    Abstract: 本发明涉及机器学习技术领域,提供一种模型训练的方法、目标检测方法、存储介质及计算设备,模型训练的方法包括:获取多个目标图像,多个目标图像包括有标签的源域图像和无标签的目标域图像;对于多个目标图像的各图像:将目标图像代入特征提取器进行特征提取处理得到第一特征图;将第一特征图输入分类器中得到对目标图像的分类结果;将第一特征图输入第一判别器中,得到目标图像属于源域的第一概率值;基于多个目标图像各自对应的目标检测分类结果、第一概率值、各源域图像具有的标签,对特征提取器、分类器和第一判别器进行训练,以使特征提取器学习源域图像和目标域图像可共用的特征分布,使得分类器可对目标域图像进行较为准确的分类。

    数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN116089076A

    公开(公告)日:2023-05-09

    申请号:CN202211727084.X

    申请日:2022-12-30

    Applicant: 清华大学

    Abstract: 本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:对地震有限区域的地震属性数据进行数字网格化处理,得到网格化后的多个计算单元;根据预设的计算单元分类算法和多个计算单元,确定计算单元组,并根据预设的计算量处理策略确定各计算单元组的组计算量;根据各计算单元组对应的组计算量的大小以及预设的计算单元分配策略,将计算单元组分配至不同的数据处理进程;通过数据处理进程对计算单元组进行计算,得到地震波属性数据。采用本方法能够保证各数据处理进程的负载均衡,减少了数据处理等待时间,缩短得到地震波属性数据的时间,提高了地震波属性数据的计算效率。

Patent Agency Ranking