-
公开(公告)号:CN109710231A
公开(公告)日:2019-05-03
申请号:CN201811570259.4
申请日:2018-12-21
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F8/30
Abstract: 本发明提供了一种可视化脚本编辑方法与装置,涉及大数据分布式流式处理技术领域。通过接收一数据处理指令,再依据数据处理指令显示预存储的多个脚本语言与流引擎,然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎,最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。本发明提供的可视化脚本编辑方法与装置具有方便技术人员操作,提高了流式处理开发效率的优点。
-
公开(公告)号:CN109656782A
公开(公告)日:2019-04-19
申请号:CN201811584022.1
申请日:2018-12-24
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本申请实施例提供一种可视化调度监控方法、装置及服务器,提供一可视化界面,通过响应在管理服务器的可视化界面所选择的流式计算任务,并获取用于执行该流式计算任务的服务器集群信息。根据该流式计算任务配置所需的运行资源信息以及该流式计算任务对应的任务信息。根据用于执行该流式计算任务的服务器集群信息将携带运行资源信息和任务信息的流式计算任务发布至对应的服务器集群。并在接收到服务器集群反馈的发布成功信息后启动监控流程,以对流式计算任务的运行信息进行监控。本申请提供的可视化调度监控方案,利用管理服务器统一对多个服务器集群进行调度及监控,并通过可视化界面显示运行信息,实现了服务器集群之间的信息的统一管理。
-
公开(公告)号:CN111399838A
公开(公告)日:2020-07-10
申请号:CN202010497130.6
申请日:2020-06-04
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F8/38 , G06F3/0486
Abstract: 本发明公开了一种基于SparkSQL和物化视图的数据建模方法及装置,提供多种数据源插件,使用jsplumb给用户提供一个拖拉拽便捷式可视化数据建模方式。并且提供物化视图,提升用户查询自己创建的数据模型性能。解决了针对离线式数据仓库,分析数据的数据量都是很大的,如果执行的SQL任务数据使用传统的JVM或者放到RDBMS里面,对性能和资源的要求较高,在资源不足情况下,会出现创建的数据模型分析失败的问题;同时解决了在对用户数据模型运行之后的物化视图的存储较为单一,无法灵活针对用户存储场景的问题。
-
公开(公告)号:CN109460416B
公开(公告)日:2020-02-04
申请号:CN201811520657.5
申请日:2018-12-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,用于解决现有技术中传统的关系型数据库的结构化查询语言中的函数无法在非关系型数据库里使用的问题。该数据处理方法,应用于电子设备,包括:接收用户终端发送的数据处理语句,数据处理语句包括预设函数;对数据处理语句进行解析,获得预设函数;根据预设函数与位置的对应关系,查找到与预设函数对应的功能实现函数的位置,功能实现函数用于实现预设函数的功能。
-
公开(公告)号:CN109460416A
公开(公告)日:2019-03-12
申请号:CN201811520657.5
申请日:2018-12-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,用于解决现有技术中传统的关系型数据库的结构化查询语言中的函数无法在非关系型数据库里使用的问题。该数据处理方法,应用于电子设备,包括:接收用户终端发送的数据处理语句,数据处理语句包括预设函数;对数据处理语句进行解析,获得预设函数;根据预设函数与位置的对应关系,查找到与预设函数对应的功能实现函数的位置,功能实现函数用于实现预设函数的功能。
-
公开(公告)号:CN109460408A
公开(公告)日:2019-03-12
申请号:CN201811269590.2
申请日:2018-10-29
Applicant: 成都四方伟业软件股份有限公司
Abstract: 在本申请实施例提供的数据处理方法及装置中,包括:根据预先设置的自定义语句,建立Spark与HBase表之间的通路;通过Spark获取HBase表的第一表项信息,根据预先存储的类型替换关系,将所述第一表项信息转换为第二表项信息;根据所述第二表项信息,通过Spark在Hive创建所述HBase表的映射表,记为Hive表。本申请实施例提供的数据处理方法可以根据预先设置的自定义语句建立Spark与HBase表的通路,然后通过Spark从HBase表获取表项信息,并对表项信息进行符合Spark格式需求的转换,从而通过Spark在Hive创建所述HBase表的映射表,该映射表既能从HBase表获取信息,又具有Spark系统数据分析速度快的优点。
-
公开(公告)号:CN109684399A
公开(公告)日:2019-04-26
申请号:CN201811584025.5
申请日:2018-12-24
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本申请提供的数据库访问方法、数据库访问装置和数据分析平台,涉及数据库访问技术领域。其中,数据库访问方法包括:生成一访问插件,其中,该访问插件能够适配与数据访问接口连接的关系型数据库;对数据分析平台的结构化数据处理组件进行修改;在需要对关系型数据库进行访问时,通过修改后的结构化数据处理组件创建关系型数据库的映射关系,并通过所述访问插件对所述关系型数据库进行访问。通过上述方法,可以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题。
-
公开(公告)号:CN109408493A
公开(公告)日:2019-03-01
申请号:CN201811212053.4
申请日:2018-10-17
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/21 , G06F16/2453 , G06F16/242
Abstract: 本发明实施例提供一种数据源的迁移方法及系统。方法包括:获取待迁移数据源的存储过程,所述存储过程包括1个或多个SQL语句;对所述SQL语句进行解析,生成各SQL语句对应的java语法,所述java语法为目标数据库可识别的语法;根据对所述java语法将所述待迁移数据源存储至所述目标数据库。系统用于执行上述方法。本发明实施例通过获取待迁移数据源的存储过程,对存储过程中的SQL语句进行解析,生成对应的java语法,然后根据java语法对待迁移数据源进行存储,即便在底层数据存储变更后,存储过程业务代码仍然可以平稳过度到目标数据库中,减少二次开发所需的时间和成本。
-
-
-
-
-
-
-