公开(公告)号：CN109101325A

公开(公告)日：2018-12-28

申请号：CN201710475515.0

申请日：2017-06-21

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 谢忠贤 ,  浦世亮 ,  周明耀 ,  宣云飞

IPC: G06F9/48 ,  G06F9/50

CPC classification number: G06F9/4881 ,  G06F9/5083

Abstract: 本发明实施例提供了一种任务调度方法、装置、系统及电子设备，该方法首先接收任务请求，获得目标计算节点的空闲任务数量；并根据当前目标计算节点分别从各服务器下载数据的下载速度以及当前任务队列中各任务项的属性信息，确定与目标节点匹配的空闲任务数量个目标任务项；将所确定的目标任务项分配给目标计算节点，进而使目标计算节点根据各目标任务项的属性信息，分别从对应的服务器中下载目标数据。应用本发明实施例提供的方案进行任务调度，能够根据网络环境中各计算节点从各服务器下载数据的实际下载速度，合理地将当前任务队列中的任务项分配给对应的计算节点，保证计算节点高效率地完成任务处理。

公开(公告)号：CN107291530A

公开(公告)日：2017-10-24

申请号：CN201610204321.2

申请日：2016-04-01

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 周明耀 ,  浦世亮 ,  闫春 ,  王志杰 ,  谢忠贤

IPC: G06F9/46 ,  H04L12/861

Abstract: 本发明实施例公开了一种数据处理方法和装置，该方案包括：首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。应用本发明实施例可以实时地动态调整该可缓存的数据量，提高数据处理系统的资源利用率以及稳定性。

公开(公告)号：CN105988995A

公开(公告)日：2016-10-05

申请号：CN201510039306.2

申请日：2015-01-27

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 谢忠贤 ,  浦世亮 ,  周明耀

IPC: G06F17/30

Abstract: 本发明提供了一种基于HFile批量加载数据的方法，通过预分分区Region，形成多个分区Region，避免了现有技术中Region分裂过程时间过长的问题；在此基础上，在Map阶段生成HFile文件，避免了Reduce过程，提高了效率；并且，由于在Map阶段就成功生成了HFile文件，因此每生成一个HFile文件后可以保存该文件，避免MapReduce任务失败后，所有的中间结果都被删除的问题，进一步提高了HFile文件记载效率。