一种统一标签库的更新方法及装置

    公开(公告)号:CN107958008B

    公开(公告)日:2020-10-27

    申请号:CN201610906668.1

    申请日:2016-10-18

    Abstract: 本发明公开了一种统一标签库的更新方法及装置,通过确定获取的统一标签库外部的外部内容标签以及各外部内容标签之间的隶属关系;分别确定除叶子节点之外的各外部内容标签与统一标签库中相对应层级的每个统一内容标签的相似度;根据除叶子节点之外的各外部内容标签是否存在相似度最高的靶位标签,将外部内容标签及子内容标签融合或加入至统一标签库中相对应层级中,实现了自动匹配与融合,省去了人工合并过程中对内容标签相似度判断标准不一致及人工合并时花费的大量时间成本;同时能够在最大程度上丰富用户访问互联网内容的行为轨迹和兴趣点,基于这些轨迹和兴趣点,便于开展用户访问互联网内容的偏好分析、精准营销和广告推荐等个性化营销。

    一种负载均衡的处理方法和设备

    公开(公告)号:CN104935523B

    公开(公告)日:2018-06-15

    申请号:CN201410108066.2

    申请日:2014-03-21

    Abstract: 本发明公开了一种负载均衡的处理方法和设备,包括:获取一个工作节点的一个迭代周期内每一个任务的运行时间信息;根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略,确定工作节点在迭代周期内的待迁移任务;当确定为待迁移任务的次数超过设定数值时,将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点,这样利用任务迁移方式,在工作点的多次迭代操作中执行一次任务迁移,有效地实现工作点间任务负载均衡,避免了Giraph中负载均衡策略存在时间消耗的问题,同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题,提高了BSP模型中任务迁移的效率,提升了系统的负载均衡性。

    一种统一标签库的更新方法及装置

    公开(公告)号:CN107958008A

    公开(公告)日:2018-04-24

    申请号:CN201610906668.1

    申请日:2016-10-18

    Abstract: 本发明公开了一种统一标签库的更新方法及装置,通过确定获取的统一标签库外部的外部内容标签以及各外部内容标签之间的隶属关系;分别确定除叶子节点之外的各外部内容标签与统一标签库中相对应层级的每个统一内容标签的相似度;根据除叶子节点之外的各外部内容标签是否存在相似度最高的靶位标签,将外部内容标签及子内容标签融合或加入至统一标签库中相对应层级中,实现了自动匹配与融合,省去了人工合并过程中对内容标签相似度判断标准不一致及人工合并时花费的大量时间成本;同时能够在最大程度上丰富用户访问互联网内容的行为轨迹和兴趣点,基于这些轨迹和兴趣点,便于开展用户访问互联网内容的偏好分析、精准营销和广告推荐等个性化营销。

    一种互联网内容标签的管理方法及装置

    公开(公告)号:CN106611008A

    公开(公告)日:2017-05-03

    申请号:CN201510703822.0

    申请日:2015-10-26

    CPC classification number: G06F16/955

    Abstract: 本发明公开了一种互联网内容标签的管理方法,包括创建内容标签库,所述方法还包括:获取不同网站对应的第一内容标签树,分别确定各个第一内容标签树所属类别的类别标签;基于所述类别标签将所述第一内容标签树的内容标签与所述内容标签库中的内容标签按预设的匹配规则进行匹配,并依据匹配结果更新所述内容标签库。本发明还公开了一种互联网内容标签的管理装置。

    一种数据查询操作的实现方法、装置及系统

    公开(公告)号:CN103092886B

    公开(公告)日:2016-03-02

    申请号:CN201110347659.0

    申请日:2011-11-07

    Abstract: 本发明公开了一种数据查询操作的实现方法、装置及系统,对外部数据系统的数据表执行查询操作后,将查询到的数据缓存到临时表中;对临时表中缓存的数据增加索引后,将临时表中的所有数据均匀分配给各数据交换节点,确定其对应的索引范围。本发明通过建立临时表缓存查询到的数据,各个数据交换节点就可以直接并行地对缓存表中的部分数据进行读取操作,避免了每个数据交换节点都需要并行地在外部系统中进行复杂的查询操作,减轻了在处理大量数据时外部数据系统服务器的负担,并且,由于分配给各数据交换节点的临时表中的索引范围对应的数据行数相对平均,保证了各个数据交换节点在并行处理时运行时间能够基本相同,从而提高了整体的查询效率。

    一种基于MapReduce的数据处理方法和装置

    公开(公告)号:CN104978345A

    公开(公告)日:2015-10-14

    申请号:CN201410140407.4

    申请日:2014-04-09

    Abstract: 本发明公开了一种基于MapReduce的数据处理方法和装置,用以解决现有技术中的MapReduce流程在处理数据时会频繁进行磁盘读写操作从而造成额外开销,严重影响系统性能的问题。该方法包括:确定针对欲处理数据所要执行的第一MapReduce流程;所述第一MapReduce流程中包含多个MapReduce作业;将所述第一MapReduce流程中满足预先设置的合并规则的MapReduce作业进行合并,得到第二MapReduce流程;其中,所述合并规则满足:合并前的MapReduce作业的执行结果与合并后的MapReduce作业的执行结果相同;对所述预处理数据执行所述第二MapReduce流程。

    一种负载均衡的处理方法和设备

    公开(公告)号:CN104935523A

    公开(公告)日:2015-09-23

    申请号:CN201410108066.2

    申请日:2014-03-21

    Abstract: 本发明公开了一种负载均衡的处理方法和设备,包括:获取一个工作节点的一个迭代周期内每一个任务的运行时间信息;根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略,确定工作节点在迭代周期内的待迁移任务;当确定为待迁移任务的次数超过设定数值时,将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点,这样利用任务迁移方式,在工作点的多次迭代操作中执行一次任务迁移,有效地实现工作点间任务负载均衡,避免了Giraph中负载均衡策略存在时间消耗的问题,同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题,提高了BSP模型中任务迁移的效率,提升了系统的负载均衡性。

    一种多层应用托管方法、装置及系统

    公开(公告)号:CN104572255A

    公开(公告)日:2015-04-29

    申请号:CN201310468511.1

    申请日:2013-10-09

    Inventor: 熊龙 邓超 钱岭

    Abstract: 本发明公开了一种多层应用托管方法,装置及系统,包括:虚拟机上的节点管理代理通过与管理中心服务器之间的信息交互,在该虚拟机上安装将要托管的多层应用包括的各服务实例,该虚拟机由该管理中心服务器在物理节点上创建,该节点管理代理通过按照从该管理中心服务器获取的所述各服务实例之间的关系,对该虚拟机上安装的各服务实例进行配置,在该虚拟机上创建所述多层应用。采用本发明实施例提供的方案,相比现有技术,提高了在虚拟机上创建将要托管应用的成功率。

    一种数据挖掘系统中数据聚类的方法、系统及装置

    公开(公告)号:CN102141988B

    公开(公告)日:2014-09-10

    申请号:CN201010102976.1

    申请日:2010-01-28

    Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。

Patent Agency Ranking