公开(公告)号：CN106844650A

公开(公告)日：2017-06-13

申请号：CN201710047936.3

申请日：2017-01-20

Applicant: 中国科学院计算技术研究所

Inventor： 潘锋烽 ,  熊劲

IPC: G06F17/30

CPC classification number: G06F16/2282 ,  G06F16/2246 ,  G06F16/23 ,  G06F16/2433

Abstract: 本发明提出一种日志合并树的合并方法及系统，方法包括实合并步骤，数据合并与元数据合并，生成Real SSTable，数据合并为将SSTable进行合并；虚合并步骤，生成Virtual SSTable，只对元数据进行合并，记录Virtual SSTable的数据来源；Real SSTable的读取步骤，对Real SSTable进行读取，当key落在Real SSTable的key range中，直接在所述Real SSTable上查找key对应的value值；Virtual SSTable的读取步骤；在读取过程中对所述Virtual SSTable进行合并，将Virtual SSTable变成Real SSTable。

公开(公告)号：CN107329705B

公开(公告)日：2020-06-05

申请号：CN201710532428.4

申请日：2017-07-03

Applicant: 中国科学院计算技术研究所

Inventor： 潘锋烽 ,  熊劲

IPC: G06F3/06

Abstract: 本发明涉及一种针对异构存储的Shuffle方法，包括以下步骤：将异构存储设备按照其介质类型分别组成相应的资源池；据负载类型将Shuffle数据写入相应的所述资源池中。

公开(公告)号：CN107273200B

公开(公告)日：2020-03-17

申请号：CN201710479197.5

申请日：2017-06-22

Applicant: 中国科学院计算技术研究所

Inventor： 潘锋烽 ,  熊劲

IPC: G06F9/48 ,  G06F9/50 ,  H04L29/08

Abstract: 本发明提供一种针对异构存储的任务调度方法，包括：1)根据用户作业确定需要执行的各个任务；2)针对拥有计算资源的每一个节点，根据每一个所述任务的数据的存储介质，判断假使所述任务在所述节点上执行时所述任务的任务类型；3)根据各种任务类型的优先级，为所述拥有计算资源的每一个节点设置执行所述任务的优先顺序。

公开(公告)号：CN107273200A

公开(公告)日：2017-10-20

申请号：CN201710479197.5

申请日：2017-06-22

Applicant: 中国科学院计算技术研究所

Inventor： 潘锋烽 ,  熊劲

IPC: G06F9/48 ,  G06F9/50 ,  H04L29/08

Abstract: 本发明提供一种针对异构存储的任务调度方法，包括：1)根据用户作业确定需要执行的各个任务；2)针对拥有计算资源的每一个节点，根据每一个所述任务的数据的存储介质，判断假使所述任务在所述节点上执行时所述任务的任务类型；3)根据各种任务类型的优先级，为所述拥有计算资源的每一个节点设置执行所述任务的优先顺序。

公开(公告)号：CN105447035A

公开(公告)日：2016-03-30

申请号：CN201410436604.0

申请日：2014-08-29

Applicant: 华为技术有限公司 ,  中国科学院计算技术研究所

Inventor： 岳银亮 ,  张子刚 ,  潘锋烽 ,  刘扬宽

IPC: G06F17/30 ,  G06F3/06

Abstract: 本申请实施例提供了一种数据扫描方法及装置，所述方法包括：扫描在LSM树第一级存储的Key-Value数据；针对不包括所述第一级的每一级中的每一个存储块执行：获取Key集合，所述Key集合包含已扫描全部Key；获得所述存储块的Key取值范围；获取由所述Key集合以及所述Key取值范围得到的Key交集；根据为存储块建立的Bloom Filter中存储的所述Key交集中的Key的数量，获得所述存储块的扫描精确度；在所述存储块的扫描精确度小于预设的扫描精确度时，扫描所述存储块存储的Key-Value数据；否则不扫描所述存储块存储的Key-Value数据，本申请实施例节省了I/O资源，提高了扫描性能。