-
公开(公告)号:CN106407191B
公开(公告)日:2020-06-12
申请号:CN201510446778.X
申请日:2015-07-27
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F16/22 , G06F16/2453
Abstract: 本发明公开了一种数据处理方法及服务器,其中,所述方法包括:基于存储空间维度将存储空间划分为M个数据分区,其中,M为大于等于二的正整数;基于至少二个时间维度,确定至少二个时间维度对应的参考时间段;获取到数据信息;分别基于所述至少二个时间维度,确定所述数据信息对应的至少二个参考时间段;基于所述至少二个参考时间段,从所述M个数据分区中选取所述数据信息对应的数据分区;将所述数据信息存储至所述数据分区。
-
公开(公告)号:CN110019386A
公开(公告)日:2019-07-16
申请号:CN201710791176.7
申请日:2017-09-05
Applicant: 中国移动通信有限公司研究院 , 中国移动通信集团公司
Inventor: 王凤
IPC: G06F16/2458 , G06F16/2457
Abstract: 本发明实施例提供一种流数据处理方法及设备,用于解决在对流数据进行统计分析时存在的统计结果的准确性较低的技术问题。该方法包括:在当前数据时间窗口接收待处理数据,并确定其产生时间;若产生时间大于当前数据时间窗口的结束时间,则将其缓存到当前数据时间窗口之后的下一个数据时间窗口中,并在确定产生时间未处于当前数据时间窗口的延迟时长对应的时间范围内,关闭当前数据时间窗口,及在确定下一个数据时间窗口关闭时对已缓存的待处理数据进行处理;若产生时间小于当前数据时间窗口的起始时间,且在确定产生时间在多个数据时间窗口中对应的历史数据时间窗口已关闭时,根据产生时间和预设间隔时间对待处理数据进行时间分组处理。
-
公开(公告)号:CN110019386B
公开(公告)日:2021-01-15
申请号:CN201710791176.7
申请日:2017-09-05
Applicant: 中国移动通信有限公司研究院 , 中国移动通信集团公司
Inventor: 王凤
IPC: G06F16/2458 , G06F16/2457
Abstract: 本发明实施例提供一种流数据处理方法及设备,用于解决在对流数据进行统计分析时存在的统计结果的准确性较低的技术问题。该方法包括:在当前数据时间窗口接收待处理数据,并确定其产生时间;若产生时间大于当前数据时间窗口的结束时间,则将其缓存到当前数据时间窗口之后的下一个数据时间窗口中,并在确定产生时间未处于当前数据时间窗口的延迟时长对应的时间范围内,关闭当前数据时间窗口,及在确定下一个数据时间窗口关闭时对已缓存的待处理数据进行处理;若产生时间小于当前数据时间窗口的起始时间,且在确定产生时间在多个数据时间窗口中对应的历史数据时间窗口已关闭时,根据产生时间和预设间隔时间对待处理数据进行时间分组处理。
-
公开(公告)号:CN104111900A
公开(公告)日:2014-10-22
申请号:CN201310141619.X
申请日:2013-04-22
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F12/12
Abstract: 本发明提供一种缓存中数据替换方法及装置,其中,方法包括:获取对访问内容在一预设时间段内的访问次数;根据所述访问次数,获取所述访问内容的热度值;根据所述热度值对所述缓存中的存储的数据进行替换。本发明的方案可以更精确的预测访问内容的热度,提高缓存的命中率。
-
公开(公告)号:CN104750738A
公开(公告)日:2015-07-01
申请号:CN201310746832.3
申请日:2013-12-30
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F17/30
Abstract: 本发明涉及通信技术领域,尤其涉及一种更新数据信息的方法、数据节点、管理节点及系统;解决现有技术中出现异常节点并恢复后,无法保证本恢复后数据节点的数据信息的准确性,导致分布式数据系统稳定性差;并且需要复制的数据信息数量庞大,导致系统恢复的时间较长的问题。本发明中根据数据更新请求的更新顺序为数据更新请求分配请求标识,在管理节点和数据节点均存储数据更新请求及对应的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
-
公开(公告)号:CN104239310A
公开(公告)日:2014-12-24
申请号:CN201310228349.6
申请日:2013-06-08
Applicant: 中国移动通信集团公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30371 , G06F17/30581
Abstract: 本发明公开了分布式数据库数据同步方法和装置:将系统中的各数据服务器划分为M组,并分别为每组设置一个中继服务器;每个数据服务器分别与所在分组对应的中继服务器之间建立长连接,每任意两个中继服务器之间分别建立长连接;对于任一数据服务器,当每次接收到针对自身所存储的任一Region的主副本的数据更新信息时,分别进行以下处理:根据该数据更新信息对该Region的主副本进行更新,并通过自身对应的中继服务器以及该Region的从副本所在的数据服务器对应的中继服务器,将该数据更新信息发送给从副本所在的数据服务器,以便从副本所在的数据服务器完成对从副本的更新。应用本发明所述方案,能够降低系统的网络连接维护开销。
-
公开(公告)号:CN104750738B
公开(公告)日:2018-06-26
申请号:CN201310746832.3
申请日:2013-12-30
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F17/30
Abstract: 本发明涉及通信技术领域,尤其涉及一种更新数据信息的方法、数据节点、管理节点及系统;解决现有技术中出现异常节点并恢复后,无法保证本恢复后数据节点的数据信息的准确性,导致分布式数据系统稳定性差;并且需要复制的数据信息数量庞大,导致系统恢复的时间较长的问题。本发明中根据数据更新请求的更新顺序为数据更新请求分配请求标识,在管理节点和数据节点均存储数据更新请求及对应的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
-
公开(公告)号:CN104111900B
公开(公告)日:2017-06-20
申请号:CN201310141619.X
申请日:2013-04-22
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F12/12
Abstract: 本发明提供一种缓存中数据替换方法及装置,其中,方法包括:获取对访问内容在一预设时间段内的访问次数;根据所述访问次数,获取所述访问内容的热度值;根据所述热度值对所述缓存中的存储的数据进行替换。本发明的方案可以更精确的预测访问内容的热度,提高缓存的命中率。
-
公开(公告)号:CN106407191A
公开(公告)日:2017-02-15
申请号:CN201510446778.X
申请日:2015-07-27
Applicant: 中国移动通信集团公司
Inventor: 王凤
IPC: G06F17/30
Abstract: 本发明公开了一种数据处理方法及服务器,其中,所述方法包括:基于存储空间维度将存储空间划分为M个数据分区,其中,M为大于等于二的正整数;基于至少二个时间维度,确定至少二个时间维度对应的参考时间段;获取到数据信息;分别基于所述至少二个时间维度,确定所述数据信息对应的至少二个参考时间段;基于所述至少二个参考时间段,从所述M个数据分区中选取所述数据信息对应的数据分区;将所述数据信息存储至所述数据分区。
-
-
-
-
-
-
-
-