-
公开(公告)号:CN119647560A
公开(公告)日:2025-03-18
申请号:CN202411692716.2
申请日:2024-11-25
Applicant: 厦门大学
Abstract: 本发明公开了基于层冻结的混合专家模型训练系统,涉及模型训练领域,包括外存、冻结控制器、资源分配控制器和若干计算设备;外存存储用于训练混合专家模型的数据集;冻结控制器根据专家选择路径进行冻结决策,交与计算设备执行;资源分配控制器基于冻结层专家选择路径执行词元分组算法计算专家热度,根据专家热度分配计算资源;计算设备存储混合专家模型,执行模型训练操作,根据层冻结决策执行层冻结任务,将冻结层专家选择路径和专家选择路径分别反馈给资源分配控制器和冻结控制器。本发明通过层冻结技术进行混合专家模型的训练,保持模型精度的同时减小训练成本;基于词源分组算法进行计算资源分配,实现设备负载均衡。
-
公开(公告)号:CN119271569A
公开(公告)日:2025-01-07
申请号:CN202411305942.0
申请日:2024-09-19
Applicant: 厦门大学
IPC: G06F12/02
Abstract: 本发明公开了一种基于零预留空间固态硬盘的数据管理方法、装置及可读介质,包括:获取当前周期的待写入的数据、垃圾回收的数据量和剩余TLC类型的空闲空间容量,根据待写入的数据的预测热度以伪编程的方式将待写入的数据编程到对应热度类型的SLC类型的闪存块,对热度管理链表进行更新,得到更新后的热度管理链表;若满足阈值判断条件,则在更新后的热度管理链表中选择最佳的SLC闪存块作为重编程目标,并以重编程的方式编程到TLC类型的闪存单元中,将重编程目标重编程得到的作为额外空间作为预留空间;若不满足阈值判断条件,则将TLC类型的闪存单元作为预留空间。本发明能够在保证存储空间的同时保留较大的预留空间,提供稳定高速的读写性能。
-
公开(公告)号:CN118838743A
公开(公告)日:2024-10-25
申请号:CN202410885841.9
申请日:2024-07-03
Applicant: 厦门大学
Abstract: 纠删码存储系统故障的修复方法、装置、存储介质和设备,用以解决基于纠删码的大规模分布式存储系统中故障修复时导致的跨机架流量大以及机架负载不均衡的问题,方法包括:基于最小负载优先的原则选择参与故障修复的机架,并根据实时负载为参与修复的机架构建机架间的修复链路,以实现机架间的负载均衡;提出了一种优化算法,替换修复的瓶颈链路,以减少跨机架修复流量;在修复的时候选择流水线传输的方式,以进一步缩短修复时间。本发明在实现修复时各机架的负载均衡的同时减小跨机架修复流量,能够缩短故障修复的时间。
-
公开(公告)号:CN117574987A
公开(公告)日:2024-02-20
申请号:CN202311635371.2
申请日:2023-12-01
Applicant: 厦门大学
IPC: G06N3/082 , G06N3/084 , G06N3/063 , G06N3/0499
Abstract: 本公开提供了一种加速分布式图神经网络训练的方法、电子设备及可读存储介质。本公开的加速分布式图神经网络训练的方法,包括:将图数据分割成n个子图G1,…,Gi,…,Gn;在第一周期,抽取子图Gi的内部节点及其节点特征,得到压缩子图Gi',从第二周期开始,对上一周期得到的第一压缩子图的节点特征进行优化,得到本周期的优化压缩子图Gi”;根据本周期的第一压缩子图的节点特征,得到本周期的第一压缩子图的节点之间的边预测;对于子图Gj,根据子图Gi、本周期的第二压缩子图和本周期的第二压缩子图的节点之间的边预测进行训练,得到第一梯度;通过同步所有子图的第一梯度,更新第一训练参数。
-
公开(公告)号:CN116841469A
公开(公告)日:2023-10-03
申请号:CN202310871404.7
申请日:2023-07-17
Abstract: 本发明公开了一种纠删码存储系统均衡冗余转换方法及装置,方法在发冗余转换发起之后进行高效且均衡的转换,包括:数据块分配步骤,制定一个最大流问题来指导数据块重分配,通过检查条带分布,并寻找适当的数据块来补充拉伸条带,以减少数据块迁移的流量;校验块更新步骤,设计先收集再编码算法来更新拉伸条带的校验块,以减少校验块更新的流量;负载均衡步骤,提出了一种启发式算法,仔细挑选条带进行分解或拉伸,以平衡各节点的流量负载。本发明在抑制冗余转换流量的同时平衡节点之间的负载,能够更快地完成转换过程。
-
公开(公告)号:CN112181710B
公开(公告)日:2022-03-29
申请号:CN202010953993.X
申请日:2020-09-11
Applicant: 厦门大学
Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。
-
公开(公告)号:CN112181710A
公开(公告)日:2021-01-05
申请号:CN202010953993.X
申请日:2020-09-11
Applicant: 厦门大学
Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。
-
公开(公告)号:CN119807057A
公开(公告)日:2025-04-11
申请号:CN202411877049.5
申请日:2024-12-19
Applicant: 厦门大学
IPC: G06F11/3668 , G06F16/242 , G06F18/22 , G06N5/022
Abstract: 本发明公开了一种基于大语言模型的数据库测试用例扩展方法、装置及可读介质,包括:构建每个数据库管理系统对应的特征知识库;通过错误恢复机制识别初始数据库管理系统的原始查询SQL语句中的原始方言特征,将原始方言特征在目标数据库管理系统对应的特征知识库中进行方言映射,得到目标方言特征及其对应的描述和示例;将初始数据库管理系统的原始查询SQL语句输入到转换模型,构建第一提示词,通过第一提示词指导转换模型生成目标数据库管理系统的原始查询SQL语句;将目标数据库管理系统的原始查询SQL语句输入到所选的变异策略对应的经微调的变异模型,生成对应的目标数据库管理系统的变异查询SQL语句,有效提高通用性和可靠性。
-
公开(公告)号:CN119782198A
公开(公告)日:2025-04-08
申请号:CN202411819115.3
申请日:2024-12-11
Applicant: 厦门大学
IPC: G06F12/02
Abstract: 本发明涉及基于分区命名空间固态硬盘的键值缓存系统,系统包括:对象及其元数据插入模块、对象查找模块和对象驱逐模块。通过哈希函数将键值映射到逻辑分区内的偏移量,使用页面级布隆过滤器实现高效查找;对象写入数据和第一元数据缓冲区,采用日志结构批量写入盘内,形成先进先出的逻辑分区链;系统缓存热对象元数据,根据访问频次对对象进行分类管理:访问频次超过第一预设频次的对象元数据卸载后加载,访问频次低于第二预设频次的对象元数据卸载后动态加载;在驱逐过程中,结合第二元数据缓冲区与实时访问情况,选择性地回收高频访问的对象。本发明通过哈希映射、页面级布隆过滤器和基于访问频次的对象管理,提升了键值缓存系统的性能和效率。
-
公开(公告)号:CN119597972A
公开(公告)日:2025-03-11
申请号:CN202411342681.X
申请日:2024-09-25
Applicant: 厦门大学
IPC: G06F16/901 , G06F16/9032 , G06N5/022
Abstract: 本发明涉及一种面向第三方库组合调用的图可达性分析方法及装置,方法包括:通过内部调用图摘要生成步骤,提取软件项目和TPL的调用边,区分内部调用边和外部调用边,采用精炼策略通过矩阵运算消除TPL内不可达的方法,生成可达性摘要;通过内部调用图摘要检索步骤,接收待检索的TPL位置,逆向搜索确定其依赖路径,构成由软件项目至被查询TPL的依赖节点链路;在可达性分析步骤中,结合依赖路径检索到的调用图摘要与待判断的源方法集合,构建从源方法到目标方法的可达路径集合。本发明优化了调用图摘要的生成与检索流程,适用于处理含有大量TPL的复杂软件项目,有效提高了面向第三方库组合调用的图可达性分析的效率。
-
-
-
-
-
-
-
-
-