一种天文数据处理方法
    31.
    发明公开

    公开(公告)号:CN119576881A

    公开(公告)日:2025-03-07

    申请号:CN202411790090.9

    申请日:2024-12-06

    Applicant: 厦门大学

    Abstract: 本发明公开了一种天文数据处理方法,包括以下步骤:对fits文件处理,以使fits文件由行式存储改为列式存储;提取并单独保存元数据,并使除元数据外的主要数据信息不间断的存储;对主要数据信息中的数值矩阵进行降噪处理,并单独保存噪声数据;通过多种预测方式对数值矩阵中除噪声之外的其他元素进行预测处理,并记录压缩率最小的预测方式及记录与其所对应的数值。利用天文数据中的局部性和存在噪声这些特点,对多维数值矩阵应用一种数值预测策略,通过这一预处理提高无损压缩率。首先对fits格式文件的数据排列方式进行重新组织,再对其中占比最大的数值数据进行噪声分离和数值预测,使有效数据更加集中,从而更适合被压缩。

    一种基于数据引用率的闪存/SCM混合阵列方法、装置和设备

    公开(公告)号:CN115826850A

    公开(公告)日:2023-03-21

    申请号:CN202211265789.4

    申请日:2022-10-17

    Applicant: 厦门大学

    Abstract: 本发明提供一种基于数据引用率的闪存/SCM混合阵列方法,涉及计算机存储领域。构建以Flash闪存存储数据和新型存储介质SCM存储校验信息的RAID4架构,包括:(1)初始化:主控模块首先初始化闪存和SCM,然后初始化元数据;(2)读写请求处理:经由第一步初始化后,接收到读写请求后,进入读写请求处理模块,该模块处理用户发起的读写请求;(3)数据恢复:经由第一步初始化后,接收到数据恢复请求后,进入数据恢复模块,该模块完成数据的恢复工作;(4)基于条带的垃圾回收;利用SCM比Flash介质具有更好的耐久性和读写性能的特征,提高存储系统的整体性能。使用基于条带的垃圾回收策略,将引用次数高的数据块存储在同一条带,减少写放大。

    一种基于持久性内存的指纹存储方法

    公开(公告)号:CN114968103A

    公开(公告)日:2022-08-30

    申请号:CN202210587980.4

    申请日:2022-05-27

    Applicant: 厦门大学

    Abstract: 本发明提出一种基于持久性内存的指纹存储方法,结合持久性内存PM的特性,将指纹索引等元数据从底层设备中剥离,并放置在持久性内存PM中。同时,本发明为PM中未被缓存的指纹元数据构建布隆过滤器且保存在DRAM中。当用户发出写请求时,系统如果在DRAM缓存中查找不到对应的指纹元数据,则可以通过布隆过滤器来确定对应的指纹元数据是否保存在持久性内存PM中,从而避免了传统方式中通过I/O方式在底层设备中查找的过程,极大减小了重复数据删除系统的数据处理过程中对指纹索引等元数据的查找开销。

    基于重复数据删除的日志文件系统的垃圾回收方法

    公开(公告)号:CN107391774B

    公开(公告)日:2019-11-19

    申请号:CN201710834662.2

    申请日:2017-09-15

    Applicant: 厦门大学

    Abstract: 基于重复数据删除的日志文件系统的垃圾回收方法,涉及计算机数据存储方法。由初始化、并行的数据处理、垃圾回收和结束步骤。根据重复数据删除技术得到的数据块的引用值,将数据分为强数据和弱数据,然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分开存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。因此,这种基于重复数据删除的日志文件系统的垃圾回收方法可以有效地减少日志文件系统中垃圾回收时迁移数据块的次数,进而可以提高闪存存储系统的性能和可靠性。

    一种固态盘阵列的缓存管理方法

    公开(公告)号:CN105138277A

    公开(公告)日:2015-12-09

    申请号:CN201510438224.5

    申请日:2015-07-23

    Applicant: 厦门大学

    Abstract: 一种固态盘阵列的缓存管理方法,涉及计算机存储领域。在固态盘阵列上设置有主控模块、垃圾回收控制模块、缓存管理模块和优先缓存记录表;所述缓存管理方法包括以下步骤:1)初始化步骤;2)垃圾回收感知步骤;3)缓存管理步骤;4)结束步骤。充分利用存储系统中数据访问的时间局部性和空间局部性以及固态盘阵列的缓存存储特性,通过在缓存上提前优先存储将要进行垃圾回收操作的固态盘的热点数据的缓存管理方法来减轻垃圾回收操作对固态盘阵列性能波动的负面影响。能够和固态盘阵列功能模块协同工作,并且可以被嵌入到现有的固态盘阵列系统中,包括硬件和软件固态盘阵列系统。适用于构造具有高性能、高可用性和高可靠性的固态盘存储系统。

    基于应用感知的重复数据删除存储系统中的数据重构方法

    公开(公告)号:CN104978151A

    公开(公告)日:2015-10-14

    申请号:CN201510345510.7

    申请日:2015-06-19

    Abstract: 基于应用感知的重复数据删除存储系统中的数据重构方法,涉及计算机存储领域。充分利用所备份文件的文件类型信息,对所有文件按文件类型进行分类,再按文件类型对文件进行备份,以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成,所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成;所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。

Patent Agency Ranking