一种在线重复数据删除系统的数据重建优化方法

    公开(公告)号:CN103955530B

    公开(公告)日:2017-02-22

    申请号:CN201410198679.X

    申请日:2014-05-12

    Applicant: 暨南大学

    Abstract: 本发明提出一种在线重复数据删除系统的数据重建优化方法,一方面针对数据的存储,通过冗余检测、削减重复的数据,利用有限的空间资源存储和管理更多的数据;另一方面,本发明的系统模型通过调度和重排去重后的数据块的分布,将常用的文件数据块预取到去重包中数据片段的前端,将随机离散分布的数据块和相应的指纹数据聚合在去重包中存储,以减少文件数据恢复过程中磁盘上的寻道时间,从而提高在线重复数据删除系统的数据重建性能,提高系统响应时间和数据恢复效率。

    一种面向重复数据删除技术的指纹预取方法及系统

    公开(公告)号:CN103345449B

    公开(公告)日:2016-12-28

    申请号:CN201310246927.9

    申请日:2013-06-19

    Applicant: 暨南大学

    Inventor: 邓玉辉 宋梁山

    Abstract: 本发明公开了一种面向重复数据删除技术的指纹预取方法及系统,方法包括:首先利用文件的相似性特点,将相似文件的所有指纹一次性预取到cache中,提高cache的命中率。如果未检测到系统中的相似文件,则根据指纹的空间局部性,从指纹库中最近访问的位置将后续可能访问到的指纹一次性预取到cache中。由于文件的相似性是通过数据块采样判定的,在很大的概率上保证两个文件大部分数据块是相同。这种方法的指纹预取比局部性能更好的保证cache的命中率。同时,经过指纹顺序排列模块的指纹有了空间局部性,利用局部性特点继续预取指纹也可以提高cache命中率。这样,从两个层次上基本可以保证绝大部分的cache命中率,极大的减少磁盘I/O带来的开销。

    一种通过压缩磁盘板载缓存以提高磁盘性能的方法

    公开(公告)号:CN105446659A

    公开(公告)日:2016-03-30

    申请号:CN201510767976.6

    申请日:2015-11-11

    Applicant: 暨南大学

    Inventor: 邓玉辉 江文

    Abstract: 本发明公开了一种通过压缩磁盘板载缓存以提高磁盘性能的方法,当外部读请求到来时,控制器部件可以压缩缓存中存放的所请求的数据,并压缩后续预取的数据。经过压缩后的缓存可以存放更多数据以提高命中率,进而快速响应后续请求。当外部写请求到来时,压缩机制可以使缓存存储更多写请求数据,以减少缓存数据回写的概率。压缩机制可以动态调整或是关闭以降低不稳定性。本发明通过增加磁盘上的板载缓存命中率以减少访问低速磁盘盘片的概率,达到提高磁盘性能的效果。另外,磁盘盘片访问频率的减少还可以降低其电源状态的切换频率和盘片启动频率,进而起到节能和提高寿命的作用。

    一种面向web集群的低能耗调度系统和方法

    公开(公告)号:CN103023802B

    公开(公告)日:2015-11-04

    申请号:CN201210517633.0

    申请日:2012-12-05

    Applicant: 暨南大学

    Abstract: 本发明公开了一种面向web集群的低能耗调度系统和方法,该调度系统包括可能量感知调度模块、滞回控制器和管理器,其中可能量感知调度模块、滞回控制器和管理器连接依次连接,该调度系统使得web集群系统中的资源利用率有了较为明显的提高,降低了系统的能耗。本发明的方法仅以web集群系统中负载连接数作为敏感因子,系统仅通过对负载连接数的监控即可实现集群节点和虚拟机资源的调度,具有操作简单、容易实现以及调度实时等优点,并且本发明的调度方法也提高了系统资源调度的灵敏度。

    针对混合型拓扑结构数据中心的路由方法、路径探测机制和报文处理机制

    公开(公告)号:CN104038418A

    公开(公告)日:2014-09-10

    申请号:CN201410211680.1

    申请日:2014-05-19

    Applicant: 暨南大学

    Abstract: 本发明公开了一种针对混合型拓扑结构数据中心的路由方法、路径探测机制和报文处理机制,所述路由方法利用混合型拓扑结构数据中心规整的连线方式,首先求得顶层路径集,再分别求得每条顶层路径所对应的左路径和右路径,最后将左路径和右路径合并求得完整路径。所述的路径探测机制利用多对探测请求/应答包对给定路径集进行网络状况的探测,供路由选择使用。所述的报文处理机制是路由算法和路径探测机制的具体实现,其被透明地嵌入到网络协议栈中。本发明针对混合型拓扑结构数据中心的、基于动态规划的路由算法,可以利用网络拓扑结构的特点求得最佳路径,且通过理论推导可得其时间复杂度均要低于现有最短路径算法,具有计算上的可行性。

    一种大数据集下相似性数据的快速识别算法

    公开(公告)号:CN104021179A

    公开(公告)日:2014-09-03

    申请号:CN201410247704.9

    申请日:2014-06-05

    Applicant: 暨南大学

    Inventor: 邓玉辉 周永涛

    CPC classification number: G06F16/90 G06K9/6215

    Abstract: 一种大数据下相似性数据快速识别算法,包括下述步骤:数据文件长度的修正;计算抽样数据块之间的距离;计算抽样数据块的位置;抽取数据块;在数据文件首尾各抽取一个数据块;计算抽取数据块的特征值;通过集合运算判断数据的相似性。一方面,本发明的时空开销不随着数据文件大小的增加而增长;其次,本发明通过位置影响因子修正数据文件的长度,避免抽样数据块位置偏移而导致相似性数据识别失败;另外一方面,本发明通过信息检索的方法有效的保证了本发明在相似性数据识别方面的有效性和准确性。

    一种在线重复数据删除系统的数据重建优化方法

    公开(公告)号:CN103955530A

    公开(公告)日:2014-07-30

    申请号:CN201410198679.X

    申请日:2014-05-12

    Applicant: 暨南大学

    Abstract: 本发明提出一种在线重复数据删除系统的数据重建优化方法,一方面针对数据的存储,通过冗余检测、削减重复的数据,利用有限的空间资源存储和管理更多的数据;另一方面,本发明的系统模型通过调度和重排去重后的数据块的分布,将常用的文件数据块预取到去重包中数据片段的前端,将随机离散分布的数据块和相应的指纹数据聚合在去重包中存储,以减少文件数据恢复过程中磁盘上的寻道时间,从而提高在线重复数据删除系统的数据重建性能,提高系统响应时间和数据恢复效率。

    一种面向重复数据删除技术的指纹预取方法及系统

    公开(公告)号:CN103345449A

    公开(公告)日:2013-10-09

    申请号:CN201310246927.9

    申请日:2013-06-19

    Applicant: 暨南大学

    Inventor: 邓玉辉 宋梁山

    Abstract: 本发明公开了一种面向重复数据删除技术的指纹预取方法及系统,方法包括:首先利用文件的相似性特点,将相似文件的所有指纹一次性预取到cache中,提高cache的命中率。如果未检测到系统中的相似文件,则根据指纹的空间局部性,从指纹库中最近访问的位置将后续可能访问到的指纹一次性预取到cache中。由于文件的相似性是通过数据块采样判定的,在很大的概率上保证两个文件大部分数据块是相同。这种方法的指纹预取比局部性能更好的保证cache的命中率。同时,经过指纹顺序排列模块的指纹有了空间局部性,利用局部性特点继续预取指纹也可以提高cache命中率。这样,从两个层次上基本可以保证绝大部分的cache命中率,极大的减少磁盘I/O带来的开销。

    一种基于事件关联的桌面云搜索方法

    公开(公告)号:CN102508857B

    公开(公告)日:2013-10-02

    申请号:CN201110299737.4

    申请日:2011-09-29

    Applicant: 暨南大学

    Abstract: 本发明公开了一种基于时间关联的桌面云搜索方法,具体步骤是:(1)对存储本地文件使用的历史文件数据库进行监控,当这些文件被修改时则执行步骤(2)的操作;(2)内核给程序发出一个时间通知来唤醒程序,经过对上述对象事件的判定来构建结构体,然后执行步骤(3);(3)把步骤(2)中构建的结构体发送到预先约定的消息队列中,然后进程继续阻塞,等待下一个时间的到来,继续执行步骤(1);(4)对消息队列中的消息进行读取;(5)为用户提供一个图形前端界面;(6)程序搜索;(7)显示搜索结果。本发明将模糊的记忆和其相应的历史事件关联起来,通过关联的历史,也就是数据起源的方式,来准确定位搜索的信息。

    一种面向web集群的低能耗调度系统和方法

    公开(公告)号:CN103023802A

    公开(公告)日:2013-04-03

    申请号:CN201210517633.0

    申请日:2012-12-05

    Applicant: 暨南大学

    Abstract: 本发明公开了一种面向web集群的低能耗调度系统和方法,该调度系统包括可能量感知调度模块、滞回控制器和管理器,其中可能量感知调度模块、滞回控制器和管理器连接依次连接,该调度系统使得web集群系统中的资源利用率有了较为明显的提高,降低了系统的能耗。本发明的方法仅以web集群系统中负载连接数作为敏感因子,系统仅通过对负载连接数的监控即可实现集群节点和虚拟机资源的调度,具有操作简单、容易实现以及调度实时等优点,并且本发明的调度方法也提高了系统资源调度的灵敏度。

Patent Agency Ranking