一种海量非结构化数据的数据存储方法

    公开(公告)号:CN104731864A

    公开(公告)日:2015-06-24

    申请号:CN201510088785.7

    申请日:2015-02-26

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30628 G06F17/30132

    摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。

    一种自动检索密钥和选择算法的加解密方法

    公开(公告)号:CN104363091A

    公开(公告)日:2015-02-18

    申请号:CN201410717255.X

    申请日:2014-12-01

    IPC分类号: H04L9/30

    摘要: 本发明公开了一种自动检索密钥和选择算法的加解密方法,包括步骤一、生成加密对象所使用的密钥库;步骤二、提取被加密对象的数据特征,得到经过处理后的数据首字节;步骤三、依据提取的数据特征自动检索密钥库;步骤四、依据数据特性选择加密算法;步骤五、依据不同的加密场景自定义增订扩充方案;步骤六、对被加密对象进行加解密运算。本发明在现行加密算法的基础上,采用密钥库替代传统的单一密钥,增强了密钥管理的安全性,依据数据特征选取密钥,并选择适当的加密算法发挥最佳的加密性能,能够支持增订扩充方案以满足特定的加密场景,因此,该方法具有很强的实用性和适应性,具有很广泛的应用场景。

    基于重复数据删除的共享方法

    公开(公告)号:CN104331525A

    公开(公告)日:2015-02-04

    申请号:CN201410717338.9

    申请日:2014-12-01

    IPC分类号: G06F17/30

    CPC分类号: G06F3/0641

    摘要: 本发明是一种基于重复数据删除的共享方法,将重复数据删除技术和NAS(Network Attached Storage)的共享功能进行深度的结合。本发明对存储的数据进行分块,为每个数据块建立局部索引,局部索引包含根据数据块指纹指定的数据块的存储分区和桶区;当NAS接收到客户端发送来的写请求时,对数据块建立局部索引并存储;当NAS接收到客户端发送来的读请求时,获取待读取数据块的指纹,根据数据块的局部索引,读取数据块。本发明方法可以对windows客户端、linux客户端提供例如:nfs/samba(cifs)/ftp等共享方式支持,可有效地将重复数据删除技术融合到后端存储进而实现在线消冗功能。

    基于缓冲池的数据缓存排序在线处理方法

    公开(公告)号:CN101834801A

    公开(公告)日:2010-09-15

    申请号:CN201010177960.7

    申请日:2010-05-20

    IPC分类号: H04L12/56 H04L29/06

    摘要: 基于缓冲池的数据缓存排序在线处理方法,属于互联网领域,为了解决目前常见的多线程下载软件对于下载数据乱序和重复的节目批量并发下载,不能实现基于内存的下载数据在线缓存、排序和去重,因而无法支持实时在线的识别、检索等处理的问题。本发明将所有缓冲区组织成缓冲区池,采用多个缓冲区缓存同一节目的下载数据。在接收节目数据包后,先查询节目的下载日志,若无新数据则丢弃不做任何处理,否则:首先选择合适的节目已有缓冲区接收数据,若无合适缓冲区且允许的情况下,申请新缓冲区接收数据;然后更新下载日志;最后调用分析处理模块将该缓冲区中排好的数据取走处理。重复上述过程,直至节目下载完成,将节目分配的缓冲区释放到缓冲区池中。?

    一种隧道报文的处理方法和装置

    公开(公告)号:CN114760166B

    公开(公告)日:2023-05-26

    申请号:CN202011582889.0

    申请日:2020-12-28

    IPC分类号: H04L12/46 H04L69/22

    摘要: 本申请公开了一种隧道报文的处理方法和装置,所述方法包括:当接收到待处理隧道报文时,解析出所述待处理隧道报文的隧道头特征和原始报头特征;汇总所述待处理隧道报文的隧道头特征和原始报头特征,得到所述待处理隧道报文的综合特征;判断所述综合特征是否命中已存储的报文处理策略表,所述报文处理策略表包括若干隧道报文综合特征及处理策略之间的映射关系;若命中,则基于所命中的报文处理策略中的处理策略对所述待处理隧道报文进行处理。本申请方案,以包含待处理隧道报文隧道信息和原始信息的综合特征,作为报文处理策略的匹配指标,提高了隧道报文处理的准确性。