-
公开(公告)号：CN109635022A
公开(公告)日：2019-04-16
申请号：CN201811290888.1
申请日：2018-10-31
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/25 , G06F16/242 , G06F8/34
CPC classification number: G06F8/34
Abstract: 本发明公开了一种可视化的ElasticSearch数据采集方法及装置，包括：创建可视化组件，可视化组件包括输入插件、输出插件和调度插件；通过将输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置任务的运行节点和任务策略；加载任务策略，获取目标运行节点的节点信息；依据目标运行节点的节点信息将任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集；通过本发明简化了配置过程，可同时多任务多节点并发采集，有效提高了数据采集的效率，降低了使用成本。
-
公开(公告)号：CN109687875B
公开(公告)日：2023-03-31
申请号：CN201811384936.3
申请日：2018-11-20
Applicant: 成都四方伟业软件股份有限公司
IPC: H03M7/30
Abstract: 本发明公开了一种时序数据处理方法，时序数据包括输出时间点和多个指标，方法包括以下步骤：提取输出时间点的多指标数据块；构建时间序列和指标序列的映射关系；提取指定时间窗口的时间序列和时间序列对应的多指标数据块聚合为字节数据流；压缩聚合后的字节数据流并输出；本发明通过将一个时间点的多指标时序数据，使用同一时间实现多指标数据块的聚合，从而减少多个时间存储消耗；以字节流方式进行数据压缩，避免指标类型的限制导致压缩算法的受限，同时，对于位存储的指标数据聚合也能有效减少指标数据的存储消耗；通过本发明的方法有效提高了时序数据的压缩处理效率，时序压缩比以及存储效率。
-
公开(公告)号：CN109831540B
公开(公告)日：2022-02-11
申请号：CN201910297355.4
申请日：2019-04-12
Applicant: 成都四方伟业软件股份有限公司
IPC: H04L67/1097
Abstract: 本公开提供一种分布式存储方法、装置、电子设备及存储介质，涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质，在接收客户端发送的数据写入请求信息后，根据数据写入请求信息，给请求写入的数据分配存储位置，并根据存储位置生成元数据以及写入反馈信息，在生成写入反馈信息和元数据后，将写入反馈信息发送至客户端，以使客户端根据写入反馈信息中所包括的存储位置信息，将请求写入的数据写入与存储位置信息对应的数据节点中，将元数据与虚拟地址进行关联并存储于分布式内存数据库中，从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。
-
公开(公告)号：CN109635022B
公开(公告)日：2021-04-13
申请号：CN201811290888.1
申请日：2018-10-31
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/25 , G06F16/242 , G06F8/34
Abstract: 本发明公开了一种可视化的ElasticSearch数据采集方法及装置，包括：创建可视化组件，可视化组件包括输入插件、输出插件和调度插件；通过将输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置任务的运行节点和任务策略；加载任务策略，获取目标运行节点的节点信息；依据目标运行节点的节点信息将任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集；通过本发明简化了配置过程，可同时多任务多节点并发采集，有效提高了数据采集的效率，降低了使用成本。
-
公开(公告)号：CN109687875A
公开(公告)日：2019-04-26
申请号：CN201811384936.3
申请日：2018-11-20
Applicant: 成都四方伟业软件股份有限公司
IPC: H03M7/30
CPC classification number: H03M7/30
Abstract: 本发明公开了一种时序数据处理方法，时序数据包括输出时间点和多个指标，方法包括以下步骤：提取输出时间点的多指标数据块；构建时间序列和指标序列的映射关系；提取指定时间窗口的时间序列和时间序列对应的多指标数据块聚合为字节数据流；压缩聚合后的字节数据流并输出；本发明通过将一个时间点的多指标时序数据，使用同一时间实现多指标数据块的聚合，从而减少多个时间存储消耗；以字节流方式进行数据压缩，避免指标类型的限制导致压缩算法的受限，同时，对于位存储的指标数据聚合也能有效减少指标数据的存储消耗；通过本发明的方法有效提高了时序数据的压缩处理效率，时序压缩比以及存储效率。
-
Patent Agency Ranking
公开(公告)号：CN109460416B
公开(公告)日：2020-02-04
申请号：CN201811520657.5
申请日：2018-12-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质，用于解决现有技术中传统的关系型数据库的结构化查询语言中的函数无法在非关系型数据库里使用的问题。该数据处理方法，应用于电子设备，包括：接收用户终端发送的数据处理语句，数据处理语句包括预设函数；对数据处理语句进行解析，获得预设函数；根据预设函数与位置的对应关系，查找到与预设函数对应的功能实现函数的位置，功能实现函数用于实现预设函数的功能。
-
公开(公告)号：CN109831540A
公开(公告)日：2019-05-31
申请号：CN201910297355.4
申请日：2019-04-12
Applicant: 成都四方伟业软件股份有限公司
IPC: H04L29/08
Abstract: 本公开提供一种分布式存储方法、装置、电子设备及存储介质，涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质，在接收客户端发送的数据写入请求信息后，根据数据写入请求信息，给请求写入的数据分配存储位置，并根据存储位置生成元数据以及写入反馈信息，在生成写入反馈信息和元数据后，将写入反馈信息发送至客户端，以使客户端根据写入反馈信息中所包括的存储位置信息，将请求写入的数据写入与存储位置信息对应的数据节点中，将元数据与虚拟地址进行关联并存储于分布式内存数据库中，从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。
-
公开(公告)号：CN109669980A
公开(公告)日：2019-04-23
申请号：CN201811575160.3
申请日：2018-12-21
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/25 , G06F16/2455 , G06F16/84 , G06F16/835
Abstract: 本申请提供一种数据跨库访问方法及装置。所述方法包括：接收来自用户终端的数据访问请求，并解析得到所有目标数据库标识，及每个目标数据库标识对应的目标数据特征；在存储的所有Hive数据映射表中查找目标数据库标识对应的目标映射表；当查找到时，在目标映射表中查询与目标数据特征对应的特征信息；访问安装有与该目标映射表对应的数据库的目标服务器，并获取与查询到的特征信息匹配的目标获取数据；在得到所有目标映射表各自对应的目标获取数据后，对所有目标获取数据进行数据整理，并将整理得到的数据结果反馈给用户终端。所述方法能够实现多个数据库之间的数据跨库关联访问，提高整体的数据获取及时性，确保大数据分析的实现进度。
-
公开(公告)号：CN109460416A
公开(公告)日：2019-03-12
申请号：CN201811520657.5
申请日：2018-12-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质，用于解决现有技术中传统的关系型数据库的结构化查询语言中的函数无法在非关系型数据库里使用的问题。该数据处理方法，应用于电子设备，包括：接收用户终端发送的数据处理语句，数据处理语句包括预设函数；对数据处理语句进行解析，获得预设函数；根据预设函数与位置的对应关系，查找到与预设函数对应的功能实现函数的位置，功能实现函数用于实现预设函数的功能。
-
公开(公告)号：CN109669980B
公开(公告)日：2020-09-18
申请号：CN201811575160.3
申请日：2018-12-21
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/25 , G06F16/2455 , G06F16/84 , G06F16/835
Abstract: 本申请提供一种数据跨库访问方法及装置。所述方法包括：接收来自用户终端的数据访问请求，并解析得到所有目标数据库标识，及每个目标数据库标识对应的目标数据特征；在存储的所有Hive数据映射表中查找目标数据库标识对应的目标映射表；当查找到时，在目标映射表中查询与目标数据特征对应的特征信息；访问安装有与该目标映射表对应的数据库的目标服务器，并获取与查询到的特征信息匹配的目标获取数据；在得到所有目标映射表各自对应的目标获取数据后，对所有目标获取数据进行数据整理，并将整理得到的数据结果反馈给用户终端。所述方法能够实现多个数据库之间的数据跨库关联访问，提高整体的数据获取及时性，确保大数据分析的实现进度。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.032 seconds)
