-
公开(公告)号:CN113553476A
公开(公告)日:2021-10-26
申请号:CN202110854214.5
申请日:2021-07-27
Applicant: 南京邮电大学
IPC: G06F16/901 , G06F16/903
Abstract: 一种利用哈希减少写停顿的键值存储方法,其包括如下步骤1)LSM树存储:HSKV遵循HashKV的基础,使用KV分离,只在LSM树中存储键和元数据,用于索引KV对,同时将值存储在称为值存储的单独区域中,在KV分离之上,HSKV三个核心设计元素,实现高效的储值管理;2)存储管理:Mem Segments(Write cache):我们将Mem Segments的每一列称为mem segment,将insert/update的KV对,利用哈希散列到对应的mem segment末尾,当mem segment大小达到阈值时,对其进行KV分离,将key与元数据单独保留成为Mem Table加入LSM‑Tree,将整个mem segment直接添加到对应的段组中;本发明通过HSKV可以在更新密集型工作负载下进行有效的更新,它的创新之处在于利用基于哈希的方法改进了基于KV分离的垃圾回收管理策略,实现了高更新性能,以减轻GC开销。
-
公开(公告)号:CN113553476B
公开(公告)日:2023-05-26
申请号:CN202110854214.5
申请日:2021-07-27
Applicant: 南京邮电大学
IPC: G06F16/901 , G06F16/903
Abstract: 一种利用哈希减少写停顿的键值存储方法,其包括如下步骤1)LSM树存储:HSKV遵循HashKV的基础,使用KV分离,只在LSM树中存储键和元数据,用于索引KV对,同时将值存储在称为值存储的单独区域中,在KV分离之上,HSKV三个核心设计元素,实现高效的储值管理;2)存储管理:Mem Segments(Write cache):我们将Mem Segments的每一列称为mem segment,将insert/update的KV对,利用哈希散列到对应的mem segment末尾,当mem segment大小达到阈值时,对其进行KV分离,将key与元数据单独保留成为Mem Table加入LSM‑Tree,将整个mem segment直接添加到对应的段组中;本发明通过HSKV可以在更新密集型工作负载下进行有效的更新,它的创新之处在于利用基于哈希的方法改进了基于KV分离的垃圾回收管理策略,实现了高更新性能,以减轻GC开销。
-
公开(公告)号:CN115129721A
公开(公告)日:2022-09-30
申请号:CN202210819216.5
申请日:2022-07-12
Applicant: 南京邮电大学
Abstract: 本发明公开了一种利用梯度下降的学习索引模型,属于数据库优化领域,主要解决的数据库索引随着数据量爆炸式增加,空间和时间开销越来越大的问题,提升数据库数据查询的速度和减少索引结构的空间开销。具体实现的步骤包括:(1)将数据空间划分为多个子空间,子空间之间无重叠;(2)根据划分的子空间训练对应的拟合函数;(3)递归调用数据划分算法和数据拟合算法构建上层结构;(4)利用链表结构解决数据插入问题。本发明利用机器学习模型拟合数据分布规律,来代替传统数据库索引结构。利用了机器学习技术学习数据潜在的分布规律构建索引模型,可以大大减少索引结构的空间开销和查询时的时间消耗。
-
-