一种海量对象的存储系统及其运行方法

    公开(公告)号:CN102073742B

    公开(公告)日:2012-11-14

    申请号:CN201110034095.5

    申请日:2011-01-31

    Applicant: 清华大学

    Abstract: 本发明提供了一种海量对象的存储系统及其运行方法,所述系统包括:接口层单元,包括接口模块,用于构造请求信息;AXIS2请求解析引擎,用于对请求信息进行解析并将请求信息转发给服务层单元;服务层单元包括:对象服务模块,用于对对象进行管理、控制操作;容器服务模块,用于对容器进行管理、控制操作;系统管理模块,用于对存储系统进行系统管理;安全管理模块,用于对存储系统进行安全性管理;存储接口适配层模块,用于通过采用统一的接口函数访问存储层单元的存储资源;存储层单元,用于在存储资源上存储数据。本发明能够对海量的对象和容器进行简洁高效的管理,并保证系统的简洁性、灵活性、低成本的可扩展性、安全性和向后兼容性。

    面向海量数据的分布式处理方法

    公开(公告)号:CN102521367A

    公开(公告)日:2012-06-27

    申请号:CN201110424530.5

    申请日:2011-12-16

    Applicant: 清华大学

    Abstract: 本发明涉及海量数据的分布式处理技术领域,公开了一种面向海量数据的分布式处理方法,包括以下步骤:S1:根据SQL命令以及数组文件内的变量信息计算输出变量和条件变量集合中的主变量,如果主变量存在,执行S2;S2:判断是否进行条件变量的选择优化;S3:判断数组是否合并存储;S4:SQL引擎根据SQL命令以及表中定义的各列的数据类型生成MapReduce任务接收到的数据元组,并生成结果数据元组;S5:对于生成的结果数据元组,判断是否需要将其以数组文件存储。本发明设计了一种基于MapReduce的、对于以数组形式存储的海量数据的分布式处理方法,使得用户可以使用SQL命令对以数组形式存储的海量数据进行分布式处理,该方法具有使用简单、运行高效,可容错的特点。

    一种土地覆盖分类模型的构建方法

    公开(公告)号:CN112597870B

    公开(公告)日:2024-03-29

    申请号:CN202011499481.7

    申请日:2020-12-18

    Applicant: 清华大学

    Inventor: 俞乐 黄小猛 周峥

    Abstract: 本发明提供一种土地覆盖分类模型的构建方法,包括:S1、获取土地历史数据,对其进行聚类处理以形成多个区域,每个区域中包含多个网格点数据;S2、对每一个区域中的网格点数据提取每个网格点的指数特征数据,并将网格点指数特征数据插值到土地覆盖数据对应的站点,获得多个站点数据;S3、从每个区域的站点数据中选取样本组成该区域对应的训练集和测试集;S4、用每个区域对应的训练集训练多个随机森林模型,并用验证集验证每个随机森林模型的分类准确率,然后用每个区域对应的测试集验证训练后的该区域对应的随机森林模型的分类准确率,从中选出分类准确率最高的随机森林模型作为该区域的分类模型。

    热带气旋的同心眼墙识别方法、装置、设备及介质

    公开(公告)号:CN116912544A

    公开(公告)日:2023-10-20

    申请号:CN202310311404.1

    申请日:2023-03-27

    Applicant: 清华大学

    Inventor: 黄小猛 黄兴 陈琼

    Abstract: 本申请是关于一种热带气旋的同心眼墙识别方法、装置、设备及介质,具体涉及气象领域。该方法包括:从历史微波亮温图像集合中查找出包含热带气旋的目标微波亮温图像,历史微波亮温图像集合中包括由极轨卫星扫描得到的微波亮温图像;对目标微波亮温图像进行样本标注,得到样本标注数据,样本标注数据包括同心眼墙类的正样本、非同心眼墙类的负样本;构建基于迁移学习的深度学习模型;使用样本标注数据对深度学习模型进行模型训练,得到训练好的深度学习模型;将包含热带气旋的待识别微波亮温图像输入训练好的深度学习模型,输出热带气旋的同心眼墙识别结果。基于本申请提供的技术方案,可以高效准确地进行同心眼墙的识别。

    一种旱情监测处理方法及装置
    15.
    发明公开

    公开(公告)号:CN116310672A

    公开(公告)日:2023-06-23

    申请号:CN202211693487.7

    申请日:2022-12-28

    Applicant: 清华大学

    Abstract: 本发明提供一种旱情监测处理方法及装置,涉及数据处理技术领域。所述方法包括:获取多源遥感数据,对所述多源遥感数据进行融合,得到融合数据;基于预设旱情监测模型对所述融合数据进行数据处理,得到旱情监测结果;其中,所述预设旱情监测模型融合有至少两个元算法模型,且对每个元算法模型通过集成学习和交叉验证方式进行训练得到。所述装置执行上述方法。本发明实施例提供的旱情监测处理方法及装置,能够及时和准确地监测旱情。

    基于II型模糊粗糙模型的遥感影像特征离散化方法及装置

    公开(公告)号:CN114881892B

    公开(公告)日:2022-10-14

    申请号:CN202210776562.X

    申请日:2022-07-04

    Applicant: 清华大学

    Inventor: 陈琼 黄小猛

    Abstract: 本发明提供了一种基于II型模糊粗糙模型的遥感影像特征离散化方法及装置,该方法包括:获取目标遥感图像数据,从目标遥感图像数据中提取混合像元,各混合像元分别包含多种地物类型的光谱响应特征;根据混合像元确定各混合像元对应各地物类型的主隶属度;根据主隶属度计算各混合像元归属于各地物类型的次隶属度;根据主隶属度和次隶属度,确定各地物类型的II型模糊粗糙集;对目标遥感图像数据进行特征离散化处理,得到最优离散化结果。本发明实施例以混合像元对应的主隶属度和次隶属度描述遥感影像特征离散化过程中的模糊成分,以主隶属度模糊离散化过程,并以次隶属度将主隶属度进一步模糊化,准确量化混合像元的不确定性,获得精确离散化结果。

    基于II型模糊粗糙模型的遥感影像特征离散化方法及装置

    公开(公告)号:CN114881892A

    公开(公告)日:2022-08-09

    申请号:CN202210776562.X

    申请日:2022-07-04

    Applicant: 清华大学

    Inventor: 陈琼 黄小猛

    Abstract: 本发明提供了一种基于II型模糊粗糙模型的遥感影像特征离散化方法及装置,该方法包括:获取目标遥感图像数据,从目标遥感图像数据中提取混合像元,各混合像元分别包含多种地物类型的光谱响应特征;根据混合像元确定各混合像元对应各地物类型的主隶属度;根据主隶属度计算各混合像元归属于各地物类型的次隶属度;根据主隶属度和次隶属度,确定各地物类型的II型模糊粗糙集;对目标遥感图像数据进行特征离散化处理,得到最优离散化结果。本发明实施例以混合像元对应的主隶属度和次隶属度描述遥感影像特征离散化过程中的模糊成分,以主隶属度模糊离散化过程,并以次隶属度将主隶属度进一步模糊化,准确量化混合像元的不确定性,获得精确离散化结果。

    数据并行压缩方法
    18.
    发明公开

    公开(公告)号:CN103326730A

    公开(公告)日:2013-09-25

    申请号:CN201310223858.X

    申请日:2013-06-06

    Applicant: 清华大学

    Abstract: 一种数据并行压缩方法,该方法包括读取步骤,通过并行I/O从存储装置中读取待压缩数据;切分步骤,将待压缩数据均匀切分成N个数据块,并将所述N个数据块保存至每个数据块所对应的输入缓冲区;压缩编码步骤,每个进程控制对应的输入缓冲区中的数据块,并利用多线程的方法对该数据块进行并行压缩编码,将压缩编码后的数据存入输出缓冲区;写入步骤,合并输出缓冲区中各个进程并行压缩编码后的数据,并将所述合并后的数据写入输出文件中。该方法在取得理想的压缩比的同时,大大降低压缩过程对时间的开销,能够很好的应用于云存储或数据库系统中,解决压缩实时性不高的问题,提高了压缩的整体性能。

    用于训练概念识别模型以及识别概念的方法和装置

    公开(公告)号:CN114372146A

    公开(公告)日:2022-04-19

    申请号:CN202210018303.0

    申请日:2022-01-07

    Applicant: 清华大学

    Abstract: 本说明书实施例提供了用于训练概念识别模型的方法和装置,以及识别概念的方法和装置。其中,用于训练概念识别模型的方法的一具体实施方式包括:获取训练样本集,训练样本包括目标领域的样本文本和样本文本所包含的目标领域概念词;基于主题模型,生成样本文本对应的样本主题表示;将样本文本、样本文本对应的样本主题表示、预设的提示模板和待训练的软提示作为预训练语言模型的输入,将与输入样本文本对应的目标领域概念词作为预训练语言模型的期望输出,对软提示进行调整,得到训练后的概念识别模型。

    基于生态环境变化的人群健康评估方法及系统

    公开(公告)号:CN112669976A

    公开(公告)日:2021-04-16

    申请号:CN202110288401.1

    申请日:2021-03-18

    Applicant: 清华大学

    Abstract: 本发明提供一种基于生态环境变化的人群健康评估方法及系统,其中的方法包括:对获取的统计年鉴数据进行像素化处理,以获取与统计年鉴数据对应的矢量边界数据;基于矢量边界数据、与统计年鉴数据相对应的生态环境数据和历史疾病发病率数据,确定模型训练集数据和验证集数据;基于模型训练集数据和验证集数据,构建并训练人群健康预测模型;基于训练完成后的人群健康预测模型对人群进行对应疾病的健康预测。利用上述发明能够定量分析统计年鉴和生态环境对人群健康的影响,提高疾病发病率预测的准确度。

Patent Agency Ranking