一种基于自训练半监督学习的文本实体抽取方法及系统

    公开(公告)号:CN115270797A

    公开(公告)日:2022-11-01

    申请号:CN202211161311.7

    申请日:2022-09-23

    Abstract: 本发明涉及文本实体抽取技术领域,提供了一种基于自训练半监督学习的文本实体抽取方法及系统,包括:将待识别文本输入文本实体抽取模型,得到待识别文本中的每个字符所属实体类别;其中,文本实体抽取模型的训练方法为:采用训练集训练得到一个教师模型;从无标签数据库中挑选出与训练集的文本相似度最高的若干条无标签数据;利用教师模型对挑选出的无标签数据进行预测,并将预测的标签值作为伪标签赋予无标签数据得到伪标签数据;将伪标签数据和训练集进行混合,构成混合数据集;采用混合数据集训练得到一个学生模型。增强了文本实体抽取模型学习小样本甚至零样本类别的能力,同时也降低了训练所需的成本。

    用于HTCondor框架下的计算任务处理方法及系统

    公开(公告)号:CN114995969A

    公开(公告)日:2022-09-02

    申请号:CN202210444664.1

    申请日:2022-04-26

    Abstract: 本公开提供了一种用于HTCondor框架下的计算任务处理方法及系统,其属于超算技术领域,所述方法包括:获取待处理任务及对应的数据文件目录结构;提取数据文件的目录结构,并进行编码;基于编码后的目录结构对数据文件进行重命名;基于HTCondor的任务分发机制,将待处理任务及重命名后的数据文件分发至计算节点;所述计算节点对数据文件名称进行解码,创建完整的目录结构,并进行待处理任务的计算,在相应目录下产生计算结果文件;对所述计算结果文件进行目录结构编码,并基于编码的目录结构进行命名;基于HTCondor的回传机制,将获得的计算结果文件进行回传,并基于解码的目录结构,将计算结果存储到相应目录中。

    一种面向复杂应用场景的自适应数据调度系统及方法

    公开(公告)号:CN114461369B

    公开(公告)日:2022-08-19

    申请号:CN202210376827.7

    申请日:2022-04-12

    Abstract: 本发明属于数据迁移技术领域,提供了一种面向复杂应用场景的自适应数据调度系统及方法,根据影响迁移作业因素以及针对数据的特征自动调整调度策略,分为:数据源负载均衡策略、数据文件热度策略以及数据文件合并拆解策略,首先达到数据源的负载均衡化以及作为数据流转迁移任务的高并发基础,而后将根据数据文件的特征自适应的调整选取对应的策略,针对不同类型海量数据作业的流转迁移处理要求,实现异构存储系统之间数据快速迁移的高要求、大带宽的高速传输网络的高要求。

    一种跨平台恶意代码检测方法及系统

    公开(公告)号:CN114065199B

    公开(公告)日:2022-06-21

    申请号:CN202111368481.8

    申请日:2021-11-18

    Abstract: 本发明涉及一种跨平台恶意代码检测方法及系统,包括:(1)使用多个平台上良性程序样本,训练一个预训练模型来捕捉程序指令上下文中的结构、语义相关性以及不同平台程序指令间的结构、语义共性;(2)在预训练模型之上,使用多个平台有限规模的良性程序样本和恶意程序样本构建跨平台恶意代码检测模型,对跨平台恶意代码检测模型进行参数微调,将预训练模型中的知识迁移到跨平台恶意代码检测模型中;(3)使用构建的跨平台恶意代码检测模型,对不同平台上的未知程序样本进行检测,判断其为恶意或良性。本发明使用多个平台的程序样本进行模型训练,充分利用不同平台程序在结构、语义上下文上的共性,缓解了单一平台恶意代码训练样本不足的问题。

    基于瓶颈流感知和无需先验信息的调度方法及调度器

    公开(公告)号:CN114401234A

    公开(公告)日:2022-04-26

    申请号:CN202111637860.2

    申请日:2021-12-29

    Abstract: 本发明涉及基于瓶颈流感知和无需先验信息的调度方法及调度器,包括S1.为Coflow建立初始Coflow带宽分配机制;S2.根据所述初始Coflow带宽分配机制检测所述Coflow的瓶颈数据流,根据所述瓶颈数据流以及所述初始Coflow带宽分配机制检测所述Coflow的瓶颈带宽;S3.根据所述Coflow的瓶颈带宽重新分配所述Coflow中所有数据流的带宽;S4.重新分配剩余带宽,所述重新分配剩余带宽具体为,将重新分配所述Coflow的带宽后所剩余的带宽分配给未重新分配带宽的Coflow的所有数据流;本发明能够提高带宽资源利用率。

    一种基于K8s的多租户深度学习模型研发系统及方法

    公开(公告)号:CN114385126A

    公开(公告)日:2022-04-22

    申请号:CN202210291793.1

    申请日:2022-03-24

    Abstract: 本发明属于资源调度技术领域,提供了一种基于K8s的多租户深度学习模型研发系统及方法,基于Docker、K8s等主流技术,针对不同租户的深度学习模型研发需求,通过微服务总线、微服务控制器和资源服务组件等统一数据、接口、资源标准,建立基于K8s的隔离空间,实现数据存储、模型设计、模型训练、模型评估、模型发布的自动化容器集群环境搭建和参数配置,支持资源管理、用户管理、权限管理、项目管理、数据管理、模型管理等操作,帮助用户快速高效地进行深度学习模型研发,解决了资源监控、自定义模型构建等方面不完善的问题,极大地提高AI应用开发的效率和资源利用率,满足多种业务场景的需求。

    一种基于异构应用平台的GPU资源弹性调度方法

    公开(公告)号:CN112698947B

    公开(公告)日:2022-03-29

    申请号:CN202011617125.0

    申请日:2020-12-31

    Abstract: 本发明的基于异构应用平台的GPU资源弹性调度方法,包括:a).获取GPU资源利用率信息;b).设定触发阈值和次数;c).筛选缩容平台队列并排序;d).筛选扩容平台队列并排序;1).选取待缩容平台;2).建立GPU节点列表;3).锁定状态节点处理;4).下线待迁移节点;5).添加至资源队列;6).判断缩容是否完毕。本发明的GPU资源弹性调度方法,可根据整体平台GPU负载情况灵活调节,从而实现平台GPU资源的最大化利用,平台的调度主要利用下层所适配平台已有调度组件实现,通过接口调用实现动态资源监控和信息采集以及执行操作下发,可满足云计算、大数据、人工智能和高性能计算场景平台的快速灵活部署实施。

    一种跨平台恶意代码检测方法及系统

    公开(公告)号:CN114065199A

    公开(公告)日:2022-02-18

    申请号:CN202111368481.8

    申请日:2021-11-18

    Abstract: 本发明涉及一种跨平台恶意代码检测方法及系统,包括:(1)使用多个平台上良性程序样本,训练一个预训练模型来捕捉程序指令上下文中的结构、语义相关性以及不同平台程序指令间的结构、语义共性;(2)在预训练模型之上,使用多个平台有限规模的良性程序样本和恶意程序样本构建跨平台恶意代码检测模型,对跨平台恶意代码检测模型进行参数微调,将预训练模型中的知识迁移到跨平台恶意代码检测模型中;(3)使用构建的跨平台恶意代码检测模型,对不同平台上的未知程序样本进行检测,判断其为恶意或良性。本发明使用多个平台的程序样本进行模型训练,充分利用不同平台程序在结构、语义上下文上的共性,缓解了单一平台恶意代码训练样本不足的问题。

Patent Agency Ranking