-
公开(公告)号:CN102955810B
公开(公告)日:2015-12-02
申请号:CN201110249270.2
申请日:2011-08-26
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种网页分类方法和设备,该方法利用现有URL类别库中的记录,建立虚拟的层级URL,并对层级URL的类别进行预测。当需要对待分类网页进行分类时,根据待分类网页的URL查询URL类别库;如果未查询到匹配的URL,则根据该URL的上层URL查询URL类别库,并在查询到匹配的URL时,根据查询到的URL的预测类别确定待分类网页的类别。在本发明中,提高了网页分类的效率和成功率。
-
公开(公告)号:CN104978345A
公开(公告)日:2015-10-14
申请号:CN201410140407.4
申请日:2014-04-09
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于MapReduce的数据处理方法和装置,用以解决现有技术中的MapReduce流程在处理数据时会频繁进行磁盘读写操作从而造成额外开销,严重影响系统性能的问题。该方法包括:确定针对欲处理数据所要执行的第一MapReduce流程;所述第一MapReduce流程中包含多个MapReduce作业;将所述第一MapReduce流程中满足预先设置的合并规则的MapReduce作业进行合并,得到第二MapReduce流程;其中,所述合并规则满足:合并前的MapReduce作业的执行结果与合并后的MapReduce作业的执行结果相同;对所述预处理数据执行所述第二MapReduce流程。
-
公开(公告)号:CN104935523A
公开(公告)日:2015-09-23
申请号:CN201410108066.2
申请日:2014-03-21
Applicant: 中国移动通信集团公司
IPC: H04L12/803 , H04W28/08
Abstract: 本发明公开了一种负载均衡的处理方法和设备,包括:获取一个工作节点的一个迭代周期内每一个任务的运行时间信息;根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略,确定工作节点在迭代周期内的待迁移任务;当确定为待迁移任务的次数超过设定数值时,将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点,这样利用任务迁移方式,在工作点的多次迭代操作中执行一次任务迁移,有效地实现工作点间任务负载均衡,避免了Giraph中负载均衡策略存在时间消耗的问题,同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题,提高了BSP模型中任务迁移的效率,提升了系统的负载均衡性。
-
公开(公告)号:CN102387173B
公开(公告)日:2015-02-04
申请号:CN201010270583.1
申请日:2010-09-01
Applicant: 中国移动通信集团公司
IPC: H04L29/08
Abstract: 本发明提供了一种MapReduce系统及其调度任务的方法和装置。该方法包括:预先配置多种调度器、将系统资源划分为多个资源子网,并预先配置所述调度器与所述资源子网的对应关系;其中,每种调度器包括任务队列和调度策略;接收工作节点的任务请求,从该工作节点所在的资源子网对应的所有调度器中选择调度器,根据选出的调度器的调度策略从该调度器的任务队列中调度任务,将调度出的任务返回给该工作节点。应用本发明能够提高系统进行任务调度的灵活性,增加了系统的适用场景。
-
公开(公告)号:CN102567425B
公开(公告)日:2014-11-05
申请号:CN201010622810.2
申请日:2010-12-29
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种数据的处理方法和设备,该方法包括:获取偏好数据和GPRS波动率;根据所述偏好数据和GPRS波动率确定偏好之间的对应关系以及偏好与GPRS波动率之间的对应关系;根据所述偏好之间的对应关系以及偏好与GPRS波动率之间的对应关系确定用户具有的偏好。本发明实施例中,可以综合分析大量数据得到更全面的分析结果,提高结果的准确度;而且采用全自动的分析方式,有效避免了预先设定阈值的操作。
-
公开(公告)号:CN102547606B
公开(公告)日:2014-09-10
申请号:CN201010604715.X
申请日:2010-12-23
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种访问远程终端的方法、系统及装置,用以解决现有技术中远程终端不能为个性化应用提供准确的个性化信息的问题。该方法第一终端接收第二终端发送的对个性化应用的操作信息后,判断自身是否获取到第二终端发送的该个性化应用对应的个性化信息,当确定获取到时,根据操作信息和获取到的个性化信息,对该个性化应用进行相应的操作,并将操作后的该个性化应用对应的显示信息同步到第二终端。由于本发明实施例中第一终端接收到操作信息时,获取第二终端发送的个性化信息,并根据操作信息和获取到的个性化信息对个性化应用进行相应的操作,因此第一终端可以为个性化应用提供准确的个性化信息。
-
公开(公告)号:CN102141988B
公开(公告)日:2014-09-10
申请号:CN201010102976.1
申请日:2010-01-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。
-
公开(公告)号:CN102117305B
公开(公告)日:2013-09-11
申请号:CN201010000163.1
申请日:2010-01-06
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了查询数据的系统、方法和数据管理系统。所述查询数据的系统包括:存储媒介,存储有多个数据、以及为所述多个数据创建并与之绑定的次索引;索引元数据管理模块,用于管理从存储于数据库的基表数据中获取索引元数据,其中,所述索引元数据用于根据预定规则创建所述多个数据;以及索引数据管理模块,用于根据从用户端接收的操作指令,通过绑定的所述次索引在所述存储媒介中查询到要操作的数据。
-
公开(公告)号:CN103138981A
公开(公告)日:2013-06-05
申请号:CN201110391293.7
申请日:2011-11-30
Applicant: 中国移动通信集团公司
IPC: H04L12/24
Abstract: 本发明公开了一种社交网络分析方法和装置。其中该方法包括:根据社交网络文件生成针对每个节点的节点信息;控制所述社交网络中所有节点根据相应的节点信息进行遍历,遍历所述社交网络所有节点后,得到所述社交网络的拓扑特征值。本发明通过采用多个节点同时并发的机制,即所有节点都并行推送遍历信息,解决了社交网络中需要多次迭代才能遍历完数据的问题,降低了分析的时间复杂度,提高分析效率。
-
公开(公告)号:CN103092886A
公开(公告)日:2013-05-08
申请号:CN201110347659.0
申请日:2011-11-07
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据查询操作的实现方法、装置及系统,对外部数据系统的数据表执行查询操作后,将查询到的数据缓存到临时表中;对临时表中缓存的数据增加索引后,将临时表中的所有数据均匀分配给各数据交换节点,确定其对应的索引范围。本发明通过建立临时表缓存查询到的数据,各个数据交换节点就可以直接并行地对缓存表中的部分数据进行读取操作,避免了每个数据交换节点都需要并行地在外部系统中进行复杂的查询操作,减轻了在处理大量数据时外部数据系统服务器的负担,并且,由于分配给各数据交换节点的临时表中的索引范围对应的数据行数相对平均,保证了各个数据交换节点在并行处理时运行时间能够基本相同,从而提高了整体的查询效率。
-
-
-
-
-
-
-
-
-