-
公开(公告)号:CN114415955B
公开(公告)日:2024-04-09
申请号:CN202210009039.4
申请日:2022-01-05
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种基于指纹的块粒度数据去重系统和方法,包括:对原始输入数据进行初步分块;对分块得到的块、块的头部与尾部,分别计算块的指纹、头部指纹和尾部指纹,并保存在对应数据结构中;在读取并输入物理块地址时,向下层存储系统请求数据,并在读取到数据后返回数据;在写入并输入数据时,向下层存储系统输出数据,并在写入完成后返回由存储系统分配的物理块地址;创建delta数据,并根据delta数据恢复原始数据;对系统中的去重表、头去重表、尾去重表和delta表进行条目的增删改查操作。本发明重点关注内容相似的数据去重效果,并通过在I/O模块和索引模块的设计策略保持较高的I/O吞吐量和较低的系统资源开销。
-
公开(公告)号:CN114415955A
公开(公告)日:2022-04-29
申请号:CN202210009039.4
申请日:2022-01-05
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种基于指纹的块粒度数据去重系统和方法,包括:对原始输入数据进行初步分块;对分块得到的块、块的头部与尾部,分别计算块的指纹、头部指纹和尾部指纹,并保存在对应数据结构中;在读取并输入物理块地址时,向下层存储系统请求数据,并在读取到数据后返回数据;在写入并输入数据时,向下层存储系统输出数据,并在写入完成后返回由存储系统分配的物理块地址;创建delta数据,并根据delta数据恢复原始数据;对系统中的去重表、头去重表、尾去重表和delta表进行条目的增删改查操作。本发明重点关注内容相似的数据去重效果,并通过在I/O模块和索引模块的设计策略保持较高的I/O吞吐量和较低的系统资源开销。
-
公开(公告)号:CN114138422B
公开(公告)日:2024-05-28
申请号:CN202111507944.4
申请日:2021-12-10
Applicant: 上海交通大学
Abstract: 本发明提供了一种可扩展性的NVMe存储虚拟化方法和系统,该方法基于中介透传虚拟化方案,支持对虚拟机、安全容器、容器的混合部署,同时满足对高密度部署安全容器、容器的可扩展性需求,该方案实现在系统NVMe驱动层,根据vfio mdev框架提供的接口,创建虚拟的mdev设备,将mdev设备通过vfio传递给虚拟机,从而提供虚拟机使用NVMe设备的能力。它通过修改物理队列分配与调度方式、优化I/O轮询线程处理I/O任务过程、修改存储资源分配方式、优化NVMe指令地址翻译过程这四个方面提高系统整体的可扩展性。
-
公开(公告)号:CN115826872A
公开(公告)日:2023-03-21
申请号:CN202211684098.8
申请日:2022-12-27
Applicant: 上海交通大学 , 益思芯科技(上海)有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种完全硬件卸载的NVMe存储加速系统,包含一个由ARM软件处理器和FPGA硬件处理器组成的异构加速卡,在ARM中设置了管理模块,实现NVMe管理命令的处理,在FPGA中设置了命令抓取模块、虚拟队列绑定模块、I/O处理模块和I/O带宽公平调度模块,实现NVMe I/O命令的硬件加速处理和I/O带宽公平调度。经测试,本发明提出的系统具备比已有系统快4.65/4.92倍的读/写速度且将I/O带宽公平调度的CPU成本降低为0,本发明解决了以前设计方案中读/写速度慢,I/O带宽公平调度与CPU强绑定的问题,更好地满足多用户/应用共享的需求。
-
公开(公告)号:CN112667356B
公开(公告)日:2023-01-31
申请号:CN202011620231.4
申请日:2020-12-30
IPC: G06F9/455
Abstract: 本发明提供了一种时延可预测的NVMe存储虚拟化方法和系统,包括:步骤1:输入虚拟机类型和延时指标;步骤2:分配物理列队,计算限流阈值;步骤3:负载运行一个周期,限制非延时敏感虚拟机I/O,收集性能数据;步骤4:根据性能数据进行物理列队重分配;步骤5:判断延时指标是否达标,若达标则执行步骤6,若没有达标则执行步骤7;步骤6:调整限流阈值;步骤7:判断负载是否结束,若没有结束则返回步骤3继续执行。本发明有效解决了现有NVMe虚拟化方法存在的隔离性不足缺陷,在复杂云环境中可以有效减少运行在线负载的延时敏感虚拟机的性能受其他虚拟机负载的干扰情况,为其提供上界可预测的延时表现。
-
公开(公告)号:CN107454017B
公开(公告)日:2021-05-11
申请号:CN201710414936.2
申请日:2017-06-05
Applicant: 上海交通大学
IPC: H04L12/875 , H04L29/08
Abstract: 本发明提供了一种云数据中心网络中混合数据流协同调度方法,包括两个主要方面:针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发调度算法,其中,时间触发调度算法确保延迟敏感数据流能够被分配到具有最高的传输优先级的传输时间段,事件触发调度算法采用非拥塞的调度原则,充分利用整个数据中心的带宽资源,在保证延迟敏感数据流的传输性能的前提之下,根据吞吐量密集型任务的出现为数据流分配网络传输带宽。本发明解决在数据中心网络中同时满足对高吞吐量和低延迟的要求,保证所有延迟敏感数据流的传输准确率。
-
公开(公告)号:CN116955348A
公开(公告)日:2023-10-27
申请号:CN202210897014.2
申请日:2022-07-28
Applicant: 中移(上海)信息通信科技有限公司 , 上海交通大学 , 中国移动通信集团有限公司
Abstract: 本发明提供一种数据库索引构建方法及装置,属于信息存储技术领域,方法包括:在接收到数据插入请求的情况下,将待插入数据插入待插入的位置,若第一检测的检测结果为全局索引的节点增加,基于动态随机存储器的地址空间为新增节点分配所需的地址空间,若第二检测的检测结果为新增节点的父节点位于非易失存储器中,将新增节点插入到快捷索引中;若动态随机存取存储器的已用空间占比达到预设比例,将新增节点由动态随机存储器的地址空间迁移至非易失存储器的地址空间;其中,全局索引以及快捷索引均采用跳表数据结构。本发明采用跳表数据结构,优化了内存型数据库的索引结构,在保证高数据响应速度的前提下减少索引对DRAM的空间消耗。
-
公开(公告)号:CN113656141A
公开(公告)日:2021-11-16
申请号:CN202010397767.8
申请日:2020-05-12
IPC: G06F9/455
Abstract: 本申请实施例公开了一种输入/输出I/O请求处理方法,方法包括:获取目标虚拟I/O队列的I/O请求流量,I/O请求流量用于描述目标虚拟IO队列中I/O请求的数量;处理器根据I/O请求流量,确定目标虚拟I/O队列是否映射于存储设备中的物理I/O队列。本申请通过计算虚拟I/O队列的I/O请求流量,并基于I/O请求流量进行虚拟I/O队列和物理I/O队列的分配,使得虚拟机物理资源可以基于I/O负载的情况进行分配。
-
公开(公告)号:CN113656141B
公开(公告)日:2025-05-02
申请号:CN202010397767.8
申请日:2020-05-12
IPC: G06F9/455
Abstract: 本申请实施例公开了一种输入/输出I/O请求处理方法,方法包括:获取目标虚拟I/O队列的I/O请求流量,I/O请求流量用于描述目标虚拟IO队列中I/O请求的数量;处理器根据I/O请求流量,确定目标虚拟I/O队列是否映射于存储设备中的物理I/O队列。本申请通过计算虚拟I/O队列的I/O请求流量,并基于I/O请求流量进行虚拟I/O队列和物理I/O队列的分配,使得虚拟机物理资源可以基于I/O负载的情况进行分配。
-
公开(公告)号:CN114138422A
公开(公告)日:2022-03-04
申请号:CN202111507944.4
申请日:2021-12-10
Applicant: 上海交通大学
Abstract: 本发明提供了一种可扩展性的NVMe存储虚拟化方法和系统,该方法基于中介透传虚拟化方案,支持对虚拟机、安全容器、容器的混合部署,同时满足对高密度部署安全容器、容器的可扩展性需求,该方案实现在系统NVMe驱动层,根据vfio mdev框架提供的接口,创建虚拟的mdev设备,将mdev设备通过vfio传递给虚拟机,从而提供虚拟机使用NVMe设备的能力。它通过修改物理队列分配与调度方式、优化I/O轮询线程处理I/O任务过程、修改存储资源分配方式、优化NVMe指令地址翻译过程这四个方面提高系统整体的可扩展性。
-
-
-
-
-
-
-
-
-