一种多关联设备时指令下发执行的方法及装置

    公开(公告)号:CN114167766A

    公开(公告)日:2022-03-11

    申请号:CN202111350861.9

    申请日:2021-11-15

    Abstract: 本发明公开了一种多关联设备时指令下发执行的方法及装置,主要解决现有技术中存在的目前对于多关联设备都是分开执行指令,无多关联设备时指令下发执行的方法及或装置的问题。该一种多关联设备时指令下发执行的方法为首先从一条完整的指令中提取针对每个设备的子指令,然后将子指令对应设备的前一个设备、后一个设备、执行该子指令的执行结果记录储存,最后一条完整指令下发执行时,执行到一个子指令时先判断是否有前后依赖的设备,是则进行判断,否则执行该子指令。通过上述方案,本发明达到了实现逻辑上多条执行路线的并行执行及实现前后依赖关系设备完整度的目的。

    分布式存储方法、装置、电子设备及存储介质

    公开(公告)号:CN109831540B

    公开(公告)日:2022-02-11

    申请号:CN201910297355.4

    申请日:2019-04-12

    Abstract: 本公开提供一种分布式存储方法、装置、电子设备及存储介质,涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质,在接收客户端发送的数据写入请求信息后,根据数据写入请求信息,给请求写入的数据分配存储位置,并根据存储位置生成元数据以及写入反馈信息,在生成写入反馈信息和元数据后,将写入反馈信息发送至客户端,以使客户端根据写入反馈信息中所包括的存储位置信息,将请求写入的数据写入与存储位置信息对应的数据节点中,将元数据与虚拟地址进行关联并存储于分布式内存数据库中,从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。

    参数校验方法及装置
    23.
    发明授权

    公开(公告)号:CN110162309B

    公开(公告)日:2020-07-24

    申请号:CN201910451267.5

    申请日:2019-05-28

    Abstract: 本申请提供的参数校验方法及装置,应用于数据处理设备。该数据处理设备配置有Hbase数据库,其中,该Hbase数据库包括有对数据库操作指令的操作参数进行校验的Java代码片段,该Java代码片段中包括预设英文字符、符号字符以及中文字符的Unicode编码范围。通过该Java代码片段对获取到byte数组类型的数据库操作参数转换成char数组类型。依次获取char数组中的数据,转换成相应的整数,将该整数同Unicode编码范围进行比较,进而判断该操作是为合法字符。如此,使得用户可以直接通过中文建表,提高了用户体验。

    资源库共享方法及分布式集群系统

    公开(公告)号:CN109995878A

    公开(公告)日:2019-07-09

    申请号:CN201910294068.8

    申请日:2019-04-12

    Abstract: 本发明提供了一种资源库共享方法及分布式集群系统,系统包括通信连接的部署终端、服务主机及多个节点主机,方法包括:部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据。部署终端将携带配置数据的配置请求发送给节点主机,以使节点主机根据配置请求进行资源库挂载操作,从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务,并为节点主机安装用于执行服务主机分发的任务的节点服务,以实现分布式集群系统的并发执行任务的能力。

    数据存储方法及装置
    25.
    发明公开

    公开(公告)号:CN109992531A

    公开(公告)日:2019-07-09

    申请号:CN201910301133.5

    申请日:2019-04-15

    Abstract: 本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。

    数据库访问方法、数据库访问装置和数据分析平台

    公开(公告)号:CN109684399A

    公开(公告)日:2019-04-26

    申请号:CN201811584025.5

    申请日:2018-12-24

    Abstract: 本申请提供的数据库访问方法、数据库访问装置和数据分析平台,涉及数据库访问技术领域。其中,数据库访问方法包括:生成一访问插件,其中,该访问插件能够适配与数据访问接口连接的关系型数据库;对数据分析平台的结构化数据处理组件进行修改;在需要对关系型数据库进行访问时,通过修改后的结构化数据处理组件创建关系型数据库的映射关系,并通过所述访问插件对所述关系型数据库进行访问。通过上述方法,可以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题。

    数据处理方法及系统
    27.
    发明公开

    公开(公告)号:CN109684093A

    公开(公告)日:2019-04-26

    申请号:CN201811585365.X

    申请日:2018-12-24

    Abstract: 本申请实施例提供一种数据处理方法及系统。该方法包括:计算设备将接收到的数据获取请求中的目标数据表标识及目标数据特征发送给查询设备;查询设备根据存储的元数据库中的数据表的数据表标识及对应的计算设备标识,查询得到与目标数据表标识对应的目标计算设备标识,并将目标数据表标识及目标数据特征发送给与目标计算设备标识对应的目标计算设备,以经目标计算设备获得目标位置信息;计算设备根据由查询设备发送的目标位置信息从对应的目标存储设备处获得目标数据,并将根据数据获取请求对目标数据进行处理后得到的处理结果发送请求设备。由此,通过将计算资源及存储资源分离,可保证计算任务按照正常进度进行。

    一种时序数据的存储方法及装置

    公开(公告)号:CN111930751A

    公开(公告)日:2020-11-13

    申请号:CN202010891609.8

    申请日:2020-08-31

    Abstract: 本发明公开了一种时序数据的存储方法及装置,主要解决现有技术中存在的现有时序数据库直接压缩大量数据造成服务器易崩溃的问题。该一种时序数据的存储方法包括以下步骤:将原始数据拆分成不同的数据集后写入不同的子表中;将子表写入时序数据库。通过上述方案,本发明达到了将上万列的度量数据拆分到不同的子表,进行压缩存储;同时提供一种保存子表元数据的存储格式,有效地管理存储子表的目的。

    一种基于SparkSQL和物化视图的数据建模方法及装置

    公开(公告)号:CN111399838A

    公开(公告)日:2020-07-10

    申请号:CN202010497130.6

    申请日:2020-06-04

    Abstract: 本发明公开了一种基于SparkSQL和物化视图的数据建模方法及装置,提供多种数据源插件,使用jsplumb给用户提供一个拖拉拽便捷式可视化数据建模方式。并且提供物化视图,提升用户查询自己创建的数据模型性能。解决了针对离线式数据仓库,分析数据的数据量都是很大的,如果执行的SQL任务数据使用传统的JVM或者放到RDBMS里面,对性能和资源的要求较高,在资源不足情况下,会出现创建的数据模型分析失败的问题;同时解决了在对用户数据模型运行之后的物化视图的存储较为单一,无法灵活针对用户存储场景的问题。

    一种基于二维表的存储方法、索引构建方法及存储装置

    公开(公告)号:CN111367920A

    公开(公告)日:2020-07-03

    申请号:CN202010464665.3

    申请日:2020-05-28

    Abstract: 本发明公开了一种基于二维表的存储方法、索引构建方法及存储装置,基于内存中二维表存储和索引提取,主要提出了一种基于二维表数据块存储格式,保存的元数据信息用于索引检索;同时提出了一种对应的多维索引检索方式,高效快速定位要查询的数据块。解决了现有内存存储技术只能通过主键来定位需要的数据而无法根据非主键直接创建索引的问题。具有提升了读取数据的灵活性,针对不同列进行反向索引定位到对应的数据块上,减少了磁盘IO的优点。

Patent Agency Ranking