-
公开(公告)号：CN108123980A
公开(公告)日：2018-06-05
申请号：CN201611085841.2
申请日：2016-11-30
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： H04L29/08 , H04L12/863
摘要： 本发明实施例公开了一种资源调度方法及系统，根据各资源队列中每个作业对应的优先级，判断各资源队列是否为优先级态资源队列；当全部资源队列均为非优先级态资源队列时，根据公平调度策略对全部资源队列进行资源调度；当全部资源队列中存在至少一个优先级态资源队列时，根据优先调度策略对全部资源队列进行资源调度。
-
公开(公告)号：CN110020046B
公开(公告)日：2021-06-15
申请号：CN201710985479.2
申请日：2017-10-20
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/951 , G06F9/48
摘要： 本发明公开了一种数据抓取方法及装置，其中，所述方法包括：基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；基于所述调度时间对所述任务进行管理；在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取。用于解决现有数据抓取效率低，公平性差的技术问题，提高了数据抓取效率，且保证了抓取任务调度的公平性。
-
公开(公告)号：CN108123980B
公开(公告)日：2020-12-08
申请号：CN201611085841.2
申请日：2016-11-30
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： H04L29/08 , H04L12/863
摘要： 本发明实施例公开了一种资源调度方法及系统，根据各资源队列中每个作业对应的优先级，判断各资源队列是否为优先级态资源队列；当全部资源队列均为非优先级态资源队列时，根据公平调度策略对全部资源队列进行资源调度；当全部资源队列中存在至少一个优先级态资源队列时，根据优先调度策略对全部资源队列进行资源调度。
-
公开(公告)号：CN110020247B
公开(公告)日：2021-05-14
申请号：CN201711402540.2
申请日：2017-12-22
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/955 , G06F16/954
摘要： 本发明公开了一种网页关键模块提取方法及装置，通过获取目标网页中包含的有效链接，以及包含有效链接的标签，确定包含有效链接的标签的公共父网页模块，将公共父网页模块中包含有效链接数目最多的父网页模块，作为网页关键模块，从而可在缺少视觉特征的情况下，进行网页关键模块的提取。
-
公开(公告)号：CN110020247A
公开(公告)日：2019-07-16
申请号：CN201711402540.2
申请日：2017-12-22
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/955 , G06F16/954
摘要： 本发明公开了一种网页关键模块提取方法及装置，通过获取目标网页中包含的有效链接，以及包含有效链接的标签，确定包含有效链接的标签的公共父网页模块，将公共父网页模块中包含有效链接数目最多的父网页模块，作为网页关键模块，从而可在缺少视觉特征的情况下，进行网页关键模块的提取。
-
公开(公告)号：CN108073582A
公开(公告)日：2018-05-25
申请号：CN201610981871.5
申请日：2016-11-08
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F17/30
摘要： 本发明实施例提供一种计算框架选择方法，包括：根据预定的数据挖掘过程选择预设组件；转换预设组件为有向无环图；为节点选择数据挖掘的计算框架；将节点提交到数据挖掘的计算框架，并使用数据挖掘的计算框架对节点进行计算；其中，有向无环图的节点与组件具有对应关系。本发明实施例同时还提供一种计算框架选择装置。
-
公开(公告)号：CN108121745B
公开(公告)日：2021-08-06
申请号：CN201611085703.4
申请日：2016-11-30
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/245 , G06F16/27 , G06F9/50
摘要： 本发明实施例提供一种数据加载方法，该方法包括：根据需要加载的数据的主键字段对需要加载的数据排序，并生成数据文件；对排序后的需要加载的数据的主键字段采样，生成第一主键字段；根据第一主键字段生成数据表的分区信息，并根据数据表的分区信息对数据表进行分区；根据数据表的分区信息对数据文件进行分组，并根据分组结果生成数据表的分区文件；将数据表的分区文件加载到对应的数据表的分区中。本发明实施例同时还提供一种数据加载装置。
-
公开(公告)号：CN108073582B
公开(公告)日：2021-08-06
申请号：CN201610981871.5
申请日：2016-11-08
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/2458
摘要： 本发明实施例提供一种计算框架选择方法，包括：根据预定的数据挖掘过程选择预设组件；转换预设组件为有向无环图；为节点选择数据挖掘的计算框架；将节点提交到数据挖掘的计算框架，并使用数据挖掘的计算框架对节点进行计算；其中，有向无环图的节点与组件具有对应关系。本发明实施例同时还提供一种计算框架选择装置。
-
公开(公告)号：CN110020046A
公开(公告)日：2019-07-16
申请号：CN201710985479.2
申请日：2017-10-20
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号： G06F16/951 , G06F9/48
摘要： 本发明公开了一种数据抓取方法及装置，其中，所述方法包括：基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；基于所述调度时间对所述任务进行管理；在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取。用于解决现有数据抓取效率低，公平性差的技术问题，提高了数据抓取效率，且保证了抓取任务调度的公平性。
-
公开(公告)号：CN108121745A
公开(公告)日：2018-06-05
申请号：CN201611085703.4
申请日：2016-11-30
申请人： 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
摘要： 本发明实施例提供一种数据加载方法，该方法包括：根据需要加载的数据的主键字段对需要加载的数据排序，并生成数据文件；对排序后的需要加载的数据的主键字段采样，生成第一主键字段；根据第一主键字段生成数据表的分区信息，并根据数据表的分区信息对数据表进行分区；根据数据表的分区信息对数据文件进行分组，并根据分组结果生成数据表的分区文件；将数据表的分区文件加载到对应的数据表的分区中。本发明实施例同时还提供一种数据加载装置。
-
-
-
-
-
-
-
-
-
搜索结果
74 条记录 (耗时 0.065 秒)
