一种基于机器学习的Hadoop参数自动调优方法及系统

    公开(公告)号:CN106202431A

    公开(公告)日:2016-12-07

    申请号:CN201610550098.7

    申请日:2016-07-13

    CPC classification number: G06F16/2471 G06F16/217 G06F16/285

    Abstract: 本发明属于大数据处理技术领域,涉及一种基于机器学习的Hadoop参数的自动调优方法及系统。本发明根据不同应用程序的资源消耗特征聚类分组,并针对不同组应用建立不同的性能模型,自动得到对不同类应用影响较大的不同参数,并给出定量参数建议值。系统包括离线模块和在线模块,离线模块包括Hadoop数据收集器、聚类器和性能模型构建子模块;在线模块包括作业管理器、优化器、资源消耗特征匹配器和作业探查器。本发明有效解决了现有的基于经验规律的方法对用户经验的高依赖问题和定性参数建议的限制问题;同时本发明将参数优化系统和Hadoop系统分离,降低系统耦合度,减少人工开销,避免人为误判,并且便于系统扩展与维护。

    一种基于溯源信息的数据重建系统及方法

    公开(公告)号:CN105930234A

    公开(公告)日:2016-09-07

    申请号:CN201610351831.2

    申请日:2016-05-25

    CPC classification number: G06F11/1446 G06F16/125

    Abstract: 本发明公开了一种基于溯源信息的数据重建系统及方法;其方法包括溯源收集、溯源查询、因子分析、重建执行和恢复过程;溯源收集通过监控系统调用并将获得的系统调用信息转换为溯源信息,存储在溯源数据库中;溯源查询则从溯源数据库中查询必要的溯源信息,为数据重建做准备;对拟重建的文件进行因子分析,判断拟重建的文件里否包括多余文件,并对多余文件进行删除、覆盖或重命名处理;根据溯源信息,获取重建序列,根据重建序列进行数据重建;恢复过程是重建之后,删除不必要的文件,并恢复较高版本的文件;本发明提供的系统及方法使用溯源数据来准确重建受损或丢失的文件,加强系统的可靠性。

    一种对象文件系统的预取方法

    公开(公告)号:CN103902260B

    公开(公告)日:2016-08-31

    申请号:CN201210570438.4

    申请日:2012-12-25

    Abstract: 本发明公开了一种对象文件系统的预取方法,包括:对对象文件系统的数据结构和变量进行初始化,判断服务器是否接收来自客户端的读对象请求,如果是则解析读对象请求,并根据读对象请求确定当前对象及其Oid,判断读对象请求是否命中缓存,如果没有则判断是否存在计时值大于或等于时间阈值T_MAX,如果不存在,则根据当前对象的Oid查询预取属性表,以获取当前对象的预取属性,并根据预取属性执行读磁盘和预取操作,根据全局访问顺序数组对预取属性表的单步预取信息进行修改,根据全局访问顺序数组对预取属性表的多步预取信息进行修改。本发明实现了预取范围自适应调节、预取准确率维持在设定阈值附近、单步预取和多步预取兼顾、以及资源占用可控。

    一种用于数据去重系统中的碎片重写方法

    公开(公告)号:CN103473150B

    公开(公告)日:2016-08-31

    申请号:CN201310383204.3

    申请日:2013-08-28

    Abstract: 本发明公开了一种用于数据去重系统的碎片重写方法,其在数据去重中增加一个缓存作为重写感知缓存,该重写感知缓存中的数据项为数据块所引用的容器标识(Container ID),对判定为数据碎片的数据块,如果其引用的容器标识(Container ID)已存储在该重写感知缓存中,则此数据无需重写,否则重写该数据碎片。本发明的方法是在数据去重的过程中增加了一个与数据读时同样大小且缓存策略相同的缓存,避免了不必要的重复数据块的重写,克服了现有算法存在的缺陷。相比与现有的去碎片算法,一是改善了因数据碎片对读性能造成的影响,通过重写数据碎片来提高读性能;二是在提高读性能的同时保证了更少的去重率损失。

    一种实现对象存储的安全防护访问方法及系统

    公开(公告)号:CN105468295A

    公开(公告)日:2016-04-06

    申请号:CN201510781188.2

    申请日:2015-11-14

    Abstract: 本发明提供一种实现对象存储的安全防护访问方法,包括:客户端从认证服务器处获取访问证书,并将其和访问请求一起发送至至少三台元数据服务器;元数据服务器检查访问证书及访问请求的有效性后,根据访问请求类型进行处理并向客户端返回相应的元数据信息;客户端接收元数据信息后,向对象存储设备请求数据,对象存储设备收到请求后会对客户端进行验证,通过后会将数据发送给客户端。相应地本发明还提供了一种实现对象存储的安全防护访问系统。本发明通过设置多个不同系统的元数据服务器,在实现系统多样化的同时,增强了系统可靠性及数据存储访问的安全性,另外通过设置的认证服务器对客户端认证,增强了数据访问的安全性能。

    一种适用于备份系统的安全数据去重方法和系统

    公开(公告)号:CN103530201B

    公开(公告)日:2016-03-02

    申请号:CN201310301670.2

    申请日:2013-07-17

    Abstract: 本发明公开了一种适用于备份系统的安全数据去重方法,包括:接收用户提交的备份请求,对需要备份的每个文件进行分块,以得到多个不同大小的数据块,使用哈希算法计算每个数据块的哈希值F1来作为数据块的加密密钥,再次使用哈希算法计算每个数据块哈希值F1的哈希值F2作为该数据块的指纹来识别重复数据块,并采用经典加密算法使用用户的私钥对数据块的哈希值F1进行加密以得到数据哈希值F1的密文E(F1)来保护数据块的加密密钥。将所有数据块指纹F2等顺序打包成指纹段发送传输到存储服务器。本发明中所有通信过程采用安全套接层协议。本发明通过采用该安全数据去重方法,能够保证在数据去重率不变的基础上,防止数据丢失、篡改等存储安全问题。

    一种面向虚拟集群的共享存储系统

    公开(公告)号:CN105242872A

    公开(公告)日:2016-01-13

    申请号:CN201410274162.4

    申请日:2014-06-18

    Abstract: 本发明提供了一种面向虚拟集群的共享存储系统,属于计算机存储技术领域。该系统主体部分由通过网络互连的两台主机组成。主机主要包括用于组成共享存储空间的共享存储模块,若干虚拟机以及为虚拟机提供相关服务的虚拟机服务模块。虚拟机主要包括一个虚拟设备,在内核空间的设备驱动模块以及供应用程序调用的访问接口模块。本发明提供了一种新颖的分布式共享存储系统,它的独特之处在于为不同物理机上虚拟机的信息传递提供一种机制,从而使共享存储编程语义可以在云端的虚拟集群中得以实现。该发明为用户层提供一个用户态可编程的共享存储空间,既可以保证对共享存储读写效率,同时并没有干预客户机内核层和虚拟机监控层。

    一种FCoE读写处理系统、处理方法及交换ID分配方法

    公开(公告)号:CN105045745A

    公开(公告)日:2015-11-11

    申请号:CN201510550779.9

    申请日:2015-08-31

    CPC classification number: G06F13/387 G06F13/4234 H04L49/357

    Abstract: 本发明公开了一种FCoE读写处理系统,包括交换ID管理模块、请求帧封装发送模块、数据帧封装发送模块、数据帧接收处理模块、准备帧接收处理模块、响应帧接收处理模块和接收队列;本发明还公开了一种基于该FCoE读写处理系统的读写处理方法,对来自上层的对应多队列块通用块层请求或块设备驱动层请求,按照FCoE协议和FCP协议处理,生成的FCoE帧通过标准以太网网络接口传输;缩短了读写路径,减小处理时延和CPU开销,在多队列请求的基础上提高了多核读写处理的并行能力。

    一种虚拟CPU调度方法
    100.
    发明公开

    公开(公告)号:CN104503838A

    公开(公告)日:2015-04-08

    申请号:CN201410676265.3

    申请日:2014-11-23

    CPC classification number: G06F9/50

    Abstract: 一种虚拟CPU调度方法,属于计算机虚拟化技术领域,解决无法及时响应I/O处理、负载特性得不到满足及现有调度算法中负载均衡策略过于简单的问题。本发明包括调度初始化步骤、插入虚拟CPU运行队列步骤、虚拟CPU运行步骤、负载均衡步骤、更新信用值与系统负载步骤、重新分配信用值步骤、重新分配物理CPU步骤和更改虚拟机类型步骤。本发明将虚拟机分为三类,对不同类型负载进行了动态隔离,绑定到两组不同类型负载的物理CPU上运行,对运行不同类型负载的虚拟CPU给予不同的时间片,提高了运行效率并保证I/O性能;本发明重新设计了负载均衡策略,除了保证不同类型负载的隔离外,选择迁移开销最小的策略,解决了现有调度算法负载均衡策略过于简单的问题。

Patent Agency Ranking