-
公开(公告)号:CN109714415B
公开(公告)日:2021-09-21
申请号:CN201811603054.1
申请日:2018-12-26
Applicant: 北京小米移动软件有限公司
Abstract: 本公开是关于一种数据处理方法及装置。该方法包括:将需要上传至服务器的多个数据按照采集时间依次存储在预设缓存区;在确定当前处于无线保真Wi‑Fi网络和/或带宽占用率小于或等于预设阈值时,从所述预设缓存区存储的多个数据中获取目标数据;将所述目标数据上传至服务器。该技术方案中,终端可以将需要上传的多个数据首先存储在预设缓存区,然后在当前处于Wi‑Fi网络和/或带宽占用率小于或等于预设阈值时,从该预设缓存区中依次读取并上传至服务器,避免了由于网络拥堵或者网络信号不佳导致的数据丢失的情况,提高了数据传输的可靠性。
-
公开(公告)号:CN109684319B
公开(公告)日:2021-06-04
申请号:CN201811587767.3
申请日:2018-12-25
Applicant: 北京小米移动软件有限公司
IPC: G06F16/215
Abstract: 本公开是关于一种数据清洗系统、方法、装置及存储介质,所述系统包括:数据清洗组件库、数据清洗规则库、规则解析器和执行器。规则解析器用于从数据清洗组件库中选取与目标数据清洗任务相关的k个组件,从数据清洗规则库中获取k个组件各自对应的规则文本,根据k个组件各自对应的规则文本,生成总规则文本,解析总规则文本,得到目标数据清洗任务对应的配置信息,将配置信息发送给执行器。执行器用于根据配置信息,调用k个组件,通过k个组件执行目标数据清洗任务。本公开通过预先配置的不同组件来执行数据处理任务,而不必在接收到数据处理任务时,临时编写用于执行该数据处理任务的逻辑代码,从而提高了数据处理任务的执行效率。
-
公开(公告)号:CN109656958A
公开(公告)日:2019-04-19
申请号:CN201811548647.2
申请日:2018-12-18
Applicant: 北京小米移动软件有限公司
IPC: G06F16/2455 , G06F16/36
Abstract: 本公开是关于一种数据查询方法以及系统,属于数据库技术领域。数据查询系统包括数据处理引擎、查询引擎和存储引擎,查询引擎中包括缓存;数据处理引擎用于接收异构数据源的数据,并基于预先构建的数据字典对接收到的数据进行过滤;数据处理引擎还用于对过滤后的数据进行多个维度的聚合运算处理,并将得到的数据处理结果存储至缓存或存储引擎;查询引擎用于当接收到终端的数据查询请求时,判断数据查询请求是否命中缓存,若数据查询请求命中缓存,则从缓存中获取与数据查询请求匹配的查询结果并返回给终端,若数据查询请求未命中缓存,则从存储引擎中获取查询结果并返回给终端。本公开实现了在多源异构海量数据的复杂业务场景下的快速数据查询。
-
公开(公告)号:CN109657128B
公开(公告)日:2021-02-26
申请号:CN201811562988.5
申请日:2018-12-20
Applicant: 北京小米移动软件有限公司
IPC: G06F16/951 , G06F16/2457
Abstract: 本公开关于一种数据查询方法、装置及存储介质,属于数据查询领域。所述方法包括:获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;根据所述配置信息与所述数据源建立连接;从所述数据源中查询所述查询参数所指示的所述目标数据。本公开可以在查询请求中携带业务标识,根据该业务标识确定用于指示数据源和该数据源的连接配置的配置信息,无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,简化了查询请求。
-
公开(公告)号:CN109739547A
公开(公告)日:2019-05-10
申请号:CN201811619111.5
申请日:2018-12-28
Applicant: 北京小米移动软件有限公司
Abstract: 本公开关于一种任务调度方法、装置及存储介质,属于任务调度领域。所述方法包括:获取任务的业务逻辑和调度信息,所述调度信息包括所述任务的调度条件和所述业务逻辑的指示信息;将所述业务逻辑加载到预设文件夹中;将所述调度信息加载到调度列表中;当确定所述调度列表中所述调度信息对应的任务满足所述调度条件时,根据所述调度信息从所述预设文件夹中获取所述业务逻辑,根据所述业务逻辑执行所述任务。本公开可以简化开发人员的工作量、扩展任务调度的适用范围、降低管理和维护任务的难度。
-
公开(公告)号:CN109657128A
公开(公告)日:2019-04-19
申请号:CN201811562988.5
申请日:2018-12-20
Applicant: 北京小米移动软件有限公司
IPC: G06F16/951 , G06F16/2457
Abstract: 本公开关于一种数据查询方法、装置及存储介质,属于数据查询领域。所述方法包括:获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;根据所述配置信息与所述数据源建立连接;从所述数据源中查询所述查询参数所指示的所述目标数据。本公开可以在查询请求中携带业务标识,根据该业务标识确定用于指示数据源和该数据源的连接配置的配置信息,无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,简化了查询请求。
-
公开(公告)号:CN109656979A
公开(公告)日:2019-04-19
申请号:CN201811581893.8
申请日:2018-12-24
Applicant: 北京小米移动软件有限公司
IPC: G06F16/2458 , G06F16/248
Abstract: 本公开是关于一种数据统计分析方法、装置及存储介质,属于大数据技术领域。所述方法包括:根据预配置的打点信息,获取打点信息对应的打点数据;其中,打点信息用于指示所需收集的数据;从打点数据中提取出统计分析所需的n个数据项,n为正整数;根据预配置的图表配置信息,生成n个数据项对应的统计分析图表;其中,图表配置信息用于指示统计分析图表的内容和样式。本公开通过预配置打点信息可以灵活选择所需采集的打点数据,通过预配置图表配置信息可以灵活确定所要生成的统计分析图表的内容和样式,从而使得整个数据统计分析过程从数据打点到图表生成均灵活可控,充分满足多样化的数据统计分析需求。
-
公开(公告)号:CN109656958B
公开(公告)日:2021-11-16
申请号:CN201811548647.2
申请日:2018-12-18
Applicant: 北京小米移动软件有限公司
IPC: G06F16/2455 , G06F16/36
Abstract: 本公开是关于一种数据查询方法以及系统,属于数据库技术领域。数据查询系统包括数据处理引擎、查询引擎和存储引擎,查询引擎中包括缓存;数据处理引擎用于接收异构数据源的数据,并基于预先构建的数据字典对接收到的数据进行过滤;数据处理引擎还用于对过滤后的数据进行多个维度的聚合运算处理,并将得到的数据处理结果存储至缓存或存储引擎;查询引擎用于当接收到终端的数据查询请求时,判断数据查询请求是否命中缓存,若数据查询请求命中缓存,则从缓存中获取与数据查询请求匹配的查询结果并返回给终端,若数据查询请求未命中缓存,则从存储引擎中获取查询结果并返回给终端。本公开实现了在多源异构海量数据的复杂业务场景下的快速数据查询。
-
公开(公告)号:CN109714415A
公开(公告)日:2019-05-03
申请号:CN201811603054.1
申请日:2018-12-26
Applicant: 北京小米移动软件有限公司
Abstract: 本公开是关于一种数据处理方法及装置。该方法包括:将需要上传至服务器的多个数据按照采集时间依次存储在预设缓存区;在确定当前处于无线保真Wi-Fi网络和/或带宽占用率小于或等于预设阈值时,从所述预设缓存区存储的多个数据中获取目标数据;将所述目标数据上传至服务器。该技术方案中,终端可以将需要上传的多个数据首先存储在预设缓存区,然后在当前处于Wi-Fi网络和/或带宽占用率小于或等于预设阈值时,从该预设缓存区中依次读取并上传至服务器,避免了由于网络拥堵或者网络信号不佳导致的数据丢失的情况,提高了数据传输的可靠性。
-
公开(公告)号:CN109684319A
公开(公告)日:2019-04-26
申请号:CN201811587767.3
申请日:2018-12-25
Applicant: 北京小米移动软件有限公司
IPC: G06F16/215
Abstract: 本公开是关于一种数据清洗系统、方法、装置及存储介质,所述系统包括:数据清洗组件库、数据清洗规则库、规则解析器和执行器。规则解析器用于从数据清洗组件库中选取与目标数据清洗任务相关的k个组件,从数据清洗规则库中获取k个组件各自对应的规则文本,根据k个组件各自对应的规则文本,生成总规则文本,解析总规则文本,得到目标数据清洗任务对应的配置信息,将配置信息发送给执行器。执行器用于根据配置信息,调用k个组件,通过k个组件执行目标数据清洗任务。本公开通过预先配置的不同组件来执行数据处理任务,而不必在接收到数据处理任务时,临时编写用于执行该数据处理任务的逻辑代码,从而提高了数据处理任务的执行效率。
-
-
-
-
-
-
-
-
-