-
公开(公告)号:CN113535670B
公开(公告)日:2022-11-11
申请号:CN202110787216.7
申请日:2021-07-13
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/188 , G06F16/174 , G06F16/13 , G06F16/172 , G06F9/455
Abstract: 本发明涉及一种虚拟化资源镜像存储系统及其实现方法,包括FUSE文件系统、镜像重复数据删除系统;FUSE文件系统接收来自若干镜像服务的R/W请求,将读写信息发送给镜像重复数据删除系统处理,处理完成后,所述FUSE文件系统将数据存储到磁盘或从磁盘中读取数据。本发明实现了虚拟化资源镜像的高效存储,解决了虚拟机镜像与容器镜像统一存储的管理问题,并在一定程度上减轻了镜像数据日益增多导致的存储压力大等问题。
-
公开(公告)号:CN115270797A
公开(公告)日:2022-11-01
申请号:CN202211161311.7
申请日:2022-09-23
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F40/295 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及文本实体抽取技术领域,提供了一种基于自训练半监督学习的文本实体抽取方法及系统,包括:将待识别文本输入文本实体抽取模型,得到待识别文本中的每个字符所属实体类别;其中,文本实体抽取模型的训练方法为:采用训练集训练得到一个教师模型;从无标签数据库中挑选出与训练集的文本相似度最高的若干条无标签数据;利用教师模型对挑选出的无标签数据进行预测,并将预测的标签值作为伪标签赋予无标签数据得到伪标签数据;将伪标签数据和训练集进行混合,构成混合数据集;采用混合数据集训练得到一个学生模型。增强了文本实体抽取模型学习小样本甚至零样本类别的能力,同时也降低了训练所需的成本。
-
公开(公告)号:CN114995969A
公开(公告)日:2022-09-02
申请号:CN202210444664.1
申请日:2022-04-26
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本公开提供了一种用于HTCondor框架下的计算任务处理方法及系统,其属于超算技术领域,所述方法包括:获取待处理任务及对应的数据文件目录结构;提取数据文件的目录结构,并进行编码;基于编码后的目录结构对数据文件进行重命名;基于HTCondor的任务分发机制,将待处理任务及重命名后的数据文件分发至计算节点;所述计算节点对数据文件名称进行解码,创建完整的目录结构,并进行待处理任务的计算,在相应目录下产生计算结果文件;对所述计算结果文件进行目录结构编码,并基于编码的目录结构进行命名;基于HTCondor的回传机制,将获得的计算结果文件进行回传,并基于解码的目录结构,将计算结果存储到相应目录中。
-
公开(公告)号:CN114461369B
公开(公告)日:2022-08-19
申请号:CN202210376827.7
申请日:2022-04-12
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明属于数据迁移技术领域,提供了一种面向复杂应用场景的自适应数据调度系统及方法,根据影响迁移作业因素以及针对数据的特征自动调整调度策略,分为:数据源负载均衡策略、数据文件热度策略以及数据文件合并拆解策略,首先达到数据源的负载均衡化以及作为数据流转迁移任务的高并发基础,而后将根据数据文件的特征自适应的调整选取对应的策略,针对不同类型海量数据作业的流转迁移处理要求,实现异构存储系统之间数据快速迁移的高要求、大带宽的高速传输网络的高要求。
-
公开(公告)号:CN114065199B
公开(公告)日:2022-06-21
申请号:CN202111368481.8
申请日:2021-11-18
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明涉及一种跨平台恶意代码检测方法及系统,包括:(1)使用多个平台上良性程序样本,训练一个预训练模型来捕捉程序指令上下文中的结构、语义相关性以及不同平台程序指令间的结构、语义共性;(2)在预训练模型之上,使用多个平台有限规模的良性程序样本和恶意程序样本构建跨平台恶意代码检测模型,对跨平台恶意代码检测模型进行参数微调,将预训练模型中的知识迁移到跨平台恶意代码检测模型中;(3)使用构建的跨平台恶意代码检测模型,对不同平台上的未知程序样本进行检测,判断其为恶意或良性。本发明使用多个平台的程序样本进行模型训练,充分利用不同平台程序在结构、语义上下文上的共性,缓解了单一平台恶意代码训练样本不足的问题。
-
公开(公告)号:CN114401234A
公开(公告)日:2022-04-26
申请号:CN202111637860.2
申请日:2021-12-29
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: H04L47/525 , H04L47/80
Abstract: 本发明涉及基于瓶颈流感知和无需先验信息的调度方法及调度器,包括S1.为Coflow建立初始Coflow带宽分配机制;S2.根据所述初始Coflow带宽分配机制检测所述Coflow的瓶颈数据流,根据所述瓶颈数据流以及所述初始Coflow带宽分配机制检测所述Coflow的瓶颈带宽;S3.根据所述Coflow的瓶颈带宽重新分配所述Coflow中所有数据流的带宽;S4.重新分配剩余带宽,所述重新分配剩余带宽具体为,将重新分配所述Coflow的带宽后所剩余的带宽分配给未重新分配带宽的Coflow的所有数据流;本发明能够提高带宽资源利用率。
-
公开(公告)号:CN114385272A
公开(公告)日:2022-04-22
申请号:CN202210291802.7
申请日:2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/445
Abstract: 本发明属于网络通信技术领域,提供了面向海洋任务的在线自适应计算卸载方法及系统,实时的获取环境信息和用户信息,并建立准确的模型描述当前系统,进而实现高效的任务分配,保证时延。因此与传统离线方法不同,我们基于强化学习,通过从历史分配策略学习以提供当前决策,而无需未来信息,构建卸载模型并实时优化,以实现设备任务的高效卸载。本发明所述的方案,不仅可以使得能源得到充分利用,更能有效降低任务时延,保证QoS。
-
公开(公告)号:CN114385126A
公开(公告)日:2022-04-22
申请号:CN202210291793.1
申请日:2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明属于资源调度技术领域,提供了一种基于K8s的多租户深度学习模型研发系统及方法,基于Docker、K8s等主流技术,针对不同租户的深度学习模型研发需求,通过微服务总线、微服务控制器和资源服务组件等统一数据、接口、资源标准,建立基于K8s的隔离空间,实现数据存储、模型设计、模型训练、模型评估、模型发布的自动化容器集群环境搭建和参数配置,支持资源管理、用户管理、权限管理、项目管理、数据管理、模型管理等操作,帮助用户快速高效地进行深度学习模型研发,解决了资源监控、自定义模型构建等方面不完善的问题,极大地提高AI应用开发的效率和资源利用率,满足多种业务场景的需求。
-
公开(公告)号:CN112698947B
公开(公告)日:2022-03-29
申请号:CN202011617125.0
申请日:2020-12-31
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/50 , G06F9/4401 , G06F9/54
Abstract: 本发明的基于异构应用平台的GPU资源弹性调度方法,包括:a).获取GPU资源利用率信息;b).设定触发阈值和次数;c).筛选缩容平台队列并排序;d).筛选扩容平台队列并排序;1).选取待缩容平台;2).建立GPU节点列表;3).锁定状态节点处理;4).下线待迁移节点;5).添加至资源队列;6).判断缩容是否完毕。本发明的GPU资源弹性调度方法,可根据整体平台GPU负载情况灵活调节,从而实现平台GPU资源的最大化利用,平台的调度主要利用下层所适配平台已有调度组件实现,通过接口调用实现动态资源监控和信息采集以及执行操作下发,可满足云计算、大数据、人工智能和高性能计算场景平台的快速灵活部署实施。
-
公开(公告)号:CN114065199A
公开(公告)日:2022-02-18
申请号:CN202111368481.8
申请日:2021-11-18
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明涉及一种跨平台恶意代码检测方法及系统,包括:(1)使用多个平台上良性程序样本,训练一个预训练模型来捕捉程序指令上下文中的结构、语义相关性以及不同平台程序指令间的结构、语义共性;(2)在预训练模型之上,使用多个平台有限规模的良性程序样本和恶意程序样本构建跨平台恶意代码检测模型,对跨平台恶意代码检测模型进行参数微调,将预训练模型中的知识迁移到跨平台恶意代码检测模型中;(3)使用构建的跨平台恶意代码检测模型,对不同平台上的未知程序样本进行检测,判断其为恶意或良性。本发明使用多个平台的程序样本进行模型训练,充分利用不同平台程序在结构、语义上下文上的共性,缓解了单一平台恶意代码训练样本不足的问题。
-
-
-
-
-
-
-
-
-