-
公开(公告)号:CN113268733A
公开(公告)日:2021-08-17
申请号:CN202110436719.X
申请日:2021-04-22
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于神经网络的容器挖矿异常检测方法及系统,属于容器入侵检测领域,通过构建挖矿容器的运行环境,采集挖矿容器的系统调用数据,对其中的系统调用序列进行分析,获得挖矿行为模式数据集,并与已公开的或自行采集的系统调用数据集进行整合形成一全量数据集,利用全量数据集训练基于神经网络的挖矿行为检测模型,利用训练好的模型进行挖矿容器的异常行为检测,能够解决现有容器挖矿数据缺失和异常检测精度低的不足的问题,实现云环境的安全防护。
-
公开(公告)号:CN109902818B
公开(公告)日:2021-05-25
申请号:CN201910035752.4
申请日:2019-01-15
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向深度学习训练任务的分布式加速方法及系统。该方法的步骤包括:(1)搭建分布式GPU训练集群;(2)采用换入换出策略,调节分布式GPU训练集群中单个GPU工作节点上的minibatch size;(3)根据步骤2)确定的minibatch size调整学习率;(4)采用步骤(2)和(3)确定的超参数minibatch size和学习率进行深度学习训练。本发明在不影响训练准确率的前提下,简单高效地通过减少集群间参数更新通信的次数大幅度地压缩通信时间,相较于单GPU模式,在多GPU模式下能够充分提高集群扩展效率,对超深神经网络模型的训练过程实现加速。
-
公开(公告)号:CN109951438B
公开(公告)日:2020-11-20
申请号:CN201910035739.9
申请日:2019-01-15
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种分布式深度学习的通信优化方法及系统。该方法包括:1)对于分布式深度学习的训练过程中各计算节点产生的梯度,采用稀疏化方法选取部分梯度值;2)对采用稀疏化方法选取的部分梯度值进行量化,将量化后的梯度值作为梯度通信的传输对象,传输给参数服务器。本发明提出了梯度的稀疏化传递和量化压缩的结合,并且针对训练过程中的不同特点划分了三个不同的训练阶段,根据不同的训练状况进行调整,将梯度压缩的效果进一步提升,提高了分布式场景下的训练效率,并且没有对收敛性能和模型的精度产生明显的负面影响。
-
公开(公告)号:CN111310054A
公开(公告)日:2020-06-19
申请号:CN202010150774.8
申请日:2020-03-06
Applicant: 中国科学院信息工程研究所
IPC: G06F16/9535
Abstract: 本发明公开一种基于自适应Margin对称度量学习的推荐方法和装置。该方法包括:根据给定的用户交互记录,通过度量学习方法拟合用户-物品的关系;采用基于triple-loss的欧氏度量学习范式进行建模;设计基于user-centric和item-centric的几何对称的关系度量方法;采用自适应Margin的方法自动学习得到用户和物品的Margin;将自适应Margin与用户/物品的偏置建立联系,解释其物理含义;使用多任务学习框架进行联合训练,得到推荐模型;基于该推荐模型为用户进行物品推荐。本发明充分考虑用户个体化差异,能很好地模拟真实场景下的用户-物品交互关系,能够显著提高物品推荐的性能。
-
公开(公告)号:CN110647904A
公开(公告)日:2020-01-03
申请号:CN201910707010.1
申请日:2019-08-01
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62 , G06F16/903
Abstract: 本发明提出一种基于无标记数据迁移的跨模态检索方法及系统,将经过聚类的无标注信息的单模态图像和文本数据作为迁移源域,有标注信息的跨模态数据集作为目标域,通过迁移学习将源域迁移至目标域的跨模态数据集,扩大训练数据规模,增加跨模态数据的语义信息,学得一个更好的共同空间。本发明很好地解决了跨模态数据集数据规模小的问题,更加符合实际用户查询不在预定义类别范围内的情况;同时,可以更好地提取不同模态数据的上层语义信息,克服模态之间的异构性差异,增加模态之间的相似性,提高跨模态检索准确率。
-
公开(公告)号:CN109951438A
公开(公告)日:2019-06-28
申请号:CN201910035739.9
申请日:2019-01-15
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种分布式深度学习的通信优化方法及系统。该方法包括:1)对于分布式深度学习的训练过程中各计算节点产生的梯度,采用稀疏化方法选取部分梯度值;2)对采用稀疏化方法选取的部分梯度值进行量化,将量化后的梯度值作为梯度通信的传输对象,传输给参数服务器。本发明提出了梯度的稀疏化传递和量化压缩的结合,并且针对训练过程中的不同特点划分了三个不同的训练阶段,根据不同的训练状况进行调整,将梯度压缩的效果进一步提升,提高了分布式场景下的训练效率,并且没有对收敛性能和模型的精度产生明显的负面影响。
-
公开(公告)号:CN103279390B
公开(公告)日:2016-09-28
申请号:CN201310210251.8
申请日:2013-05-30
Applicant: 中国科学院信息工程研究所
IPC: G06F9/50
Abstract: 本发明涉及一种面向小作业优化的并行处理系统,由下至上依次包括资源管理模块、资源伸缩模块、计算系统模块、模型翻译模块和作业逻辑模块;所述资源管理模块实现对整体系统的资源管理并提供管理平台;所述资源伸缩模块在管理平台上为计算系统模块提供工作节点;所述计算系统模块是系统的运行时的环境,用于实现在一个JVMJava虚拟机中的不同线程之间直接共享数据;所述模型翻译模块用于将作业逻辑翻译成运行环境中可识别的工作流;所述作业逻辑模块用于设置数据传输模式和逻辑表达模型。本发明实现了一套编程可扩展、资源可伸缩的并行处理系统Binos,以及Binos‑HashMR和Binos‑FileMR两套不同的MapReduce编程模型,通过数据存储、传输、处理逻辑等相关方面的优化,显著提高了小作业的执行效率。
-
公开(公告)号:CN103810023B
公开(公告)日:2016-09-07
申请号:CN201410080662.4
申请日:2014-03-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种云平台中分布式应用的智能部署方法及系统,其方法为用户提交运行作业及资源需求;调度管理器将运行作业指定的可执行程序存储到分布式存储系统中,并记录存储位置;调度管理器根据运行作业中包含实例的个数形成相应数量的任务,为各个任务匹配物理节点,并将各任务下发给最匹配物理节点的任务执行器;最匹配物理节点的任务执行器根据任务中包含的信息配置虚拟机并启动;虚拟机根据任务中包含的信息自动从分布式存储系统中获取可执行程序并运行;本发明其使得云平台中多个分布式应用程序可以共享一个物理集群的资源,并给用户提供一种简单、透明、自动的部署接口,方便分布式应用程序的智能化部署,提高了资源的利用率。
-
公开(公告)号:CN103631907B
公开(公告)日:2016-09-07
申请号:CN201310612192.7
申请日:2013-11-26
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种将关系型数据迁移至HBase的方法及系统,包括关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块;通过在HBase数据库中设计映射关系表,存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系,完整保留了原关系数据库中数据表格的模式信息,且可灵活配置映射方式,为用户提供了更多的选择,且HBase的高效数据组织方式,大大提高了访问性能,节省了存储空间,同时提供数据导出功能,实现与其他子系统的数据交互,另外,数据查询功能支持SQL查询,将SQL查询语句转换成HBase数据库的查询语句,使用户更平滑地过渡到HBase数据库。
-
公开(公告)号:CN104243617A
公开(公告)日:2014-12-24
申请号:CN201410543294.2
申请日:2014-10-14
Applicant: 中国科学院信息工程研究所
IPC: H04L29/08
Abstract: 本发明涉及一种异构集群中面向混合负载的任务调度方法及系统,包括以下步骤:资源调度器接收机器心跳,维护机器的属性簇;作业管理器接收并解析作业,获得若干个任务;作业管理器为任务设置属性簇和约束需求,并将任务信息发送给资源管理器;资源调度器为任务匹配满足约束且最优的机器,并将任务与机器的匹配关系返回给作业管理器;作业管理器将任务下发到匹配机器上的执行器上,执行任务。本发明通过一种易拓展的约束描述方法来表示异构化的机器属性和任务需求,在此基础上,将硬约束作为过滤标准,将软约束作为选择标准,为任务分配最优机器,显著提高了任务的执行效率和系统的整体性能。
-
-
-
-
-
-
-
-
-