数据存储方法及装置
    11.
    发明授权

    公开(公告)号:CN109992531B

    公开(公告)日:2020-11-10

    申请号:CN201910301133.5

    申请日:2019-04-15

    Abstract: 本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。

    参数校验方法及装置
    13.
    发明公开

    公开(公告)号:CN110162309A

    公开(公告)日:2019-08-23

    申请号:CN201910451267.5

    申请日:2019-05-28

    Abstract: 本申请提供的参数校验方法及装置,应用于数据处理设备。该数据处理设备配置有Hbase数据库,其中,该Hbase数据库包括有对数据库操作指令的操作参数进行校验的Java代码片段,该Java代码片段中包括预设英文字符、符号字符以及中文字符的Unicode编码范围。通过该Java代码片段对获取到byte数组类型的数据库操作参数转换成char数组类型。依次获取char数组中的数据,转换成相应的整数,将该整数同Unicode编码范围进行比较,进而判断该操作是为合法字符。如此,使得用户可以直接通过中文建表,提高了用户体验。

    获取中文数据库结构的方法及装置

    公开(公告)号:CN109992577A

    公开(公告)日:2019-07-09

    申请号:CN201910293497.3

    申请日:2019-04-12

    Abstract: 本申请公开了获取中文数据库结构的方法及装置,应用于计算机设备,所述方法包括:获取当前被使用数据库的hive源码,将hive源码中涉及字符获取的部分进行修改,得到能够对中文字符进行识别、获取的目标hive源码。将目标hive源码进行编译后得到能够对中文字符进行处理的目标hive文件包。将目标hive文件包上传并覆盖原本的不能处理中文字符的hive文件包,重启数据库的hive服务,得到能够识别显示中文的中文数据库结构。采用本申请提供的获取中文数据库结构的方法,能够在基于hive搭建的数据库中使用中文,提高了数据库的使用效率。

    大数据平台部署方法及装置

    公开(公告)号:CN109683910A

    公开(公告)日:2019-04-26

    申请号:CN201811574077.4

    申请日:2018-12-21

    Inventor: 万恒 陈林 王诗强

    CPC classification number: G06F8/60 G06F9/45558

    Abstract: 本申请公开了一种大数据平台部署方法及装置,所述方法应用于集群系统的管理节点,所述集群系统还包括与所述管理节点相互通信的物理节点,所述方法包括:获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系;针对每个所述服务生成该服务对应的容器;根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系;为所述容器分配对应的持久化存储区;获取用于部署所述容器的配置信息,所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系;根据所述配置信息将所述容器分发至对应的物理节点,并使所述物理节点运行对应的容器。本申请所述方案能提高大数据平台的部署效率。

    一种时序数据处理方法
    16.
    发明授权

    公开(公告)号:CN109687875B

    公开(公告)日:2023-03-31

    申请号:CN201811384936.3

    申请日:2018-11-20

    Abstract: 本发明公开了一种时序数据处理方法,时序数据包括输出时间点和多个指标,方法包括以下步骤:提取输出时间点的多指标数据块;构建时间序列和指标序列的映射关系;提取指定时间窗口的时间序列和时间序列对应的多指标数据块聚合为字节数据流;压缩聚合后的字节数据流并输出;本发明通过将一个时间点的多指标时序数据,使用同一时间实现多指标数据块的聚合,从而减少多个时间存储消耗;以字节流方式进行数据压缩,避免指标类型的限制导致压缩算法的受限,同时,对于位存储的指标数据聚合也能有效减少指标数据的存储消耗;通过本发明的方法有效提高了时序数据的压缩处理效率,时序压缩比以及存储效率。

    分布式存储方法、装置、电子设备及存储介质

    公开(公告)号:CN109831540B

    公开(公告)日:2022-02-11

    申请号:CN201910297355.4

    申请日:2019-04-12

    Abstract: 本公开提供一种分布式存储方法、装置、电子设备及存储介质,涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质,在接收客户端发送的数据写入请求信息后,根据数据写入请求信息,给请求写入的数据分配存储位置,并根据存储位置生成元数据以及写入反馈信息,在生成写入反馈信息和元数据后,将写入反馈信息发送至客户端,以使客户端根据写入反馈信息中所包括的存储位置信息,将请求写入的数据写入与存储位置信息对应的数据节点中,将元数据与虚拟地址进行关联并存储于分布式内存数据库中,从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。

    参数校验方法及装置
    18.
    发明授权

    公开(公告)号:CN110162309B

    公开(公告)日:2020-07-24

    申请号:CN201910451267.5

    申请日:2019-05-28

    Abstract: 本申请提供的参数校验方法及装置,应用于数据处理设备。该数据处理设备配置有Hbase数据库,其中,该Hbase数据库包括有对数据库操作指令的操作参数进行校验的Java代码片段,该Java代码片段中包括预设英文字符、符号字符以及中文字符的Unicode编码范围。通过该Java代码片段对获取到byte数组类型的数据库操作参数转换成char数组类型。依次获取char数组中的数据,转换成相应的整数,将该整数同Unicode编码范围进行比较,进而判断该操作是为合法字符。如此,使得用户可以直接通过中文建表,提高了用户体验。

    资源库共享方法及分布式集群系统

    公开(公告)号:CN109995878A

    公开(公告)日:2019-07-09

    申请号:CN201910294068.8

    申请日:2019-04-12

    Abstract: 本发明提供了一种资源库共享方法及分布式集群系统,系统包括通信连接的部署终端、服务主机及多个节点主机,方法包括:部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据。部署终端将携带配置数据的配置请求发送给节点主机,以使节点主机根据配置请求进行资源库挂载操作,从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务,并为节点主机安装用于执行服务主机分发的任务的节点服务,以实现分布式集群系统的并发执行任务的能力。

    数据存储方法及装置
    20.
    发明公开

    公开(公告)号:CN109992531A

    公开(公告)日:2019-07-09

    申请号:CN201910301133.5

    申请日:2019-04-15

    Abstract: 本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。

Patent Agency Ranking