-
公开(公告)号:CN107193898B
公开(公告)日:2019-12-03
申请号:CN201710320562.8
申请日:2017-05-09
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种基于分级复用的日志数据流的查询共享方法和系统,包括:将包含多个查询语句的查询操作注册到系统,通过设定滑动窗口对日志数据流中的元组进行截取;对多个该查询语句进行预处理,提取其中具有相同子查询的查询语句,并将其所查询结果作为中间结果加以存储,该中间结果用以在多个查询操作间进行共享;从所截取元组中提取具有相同中间存储结构的元组,并将其采用共享队列的方式加以存储以在多个查询操作间进行共享。本发明针对日志流查询存储共享,保证对日志流元组的数据进行有效存储、快速索引的前提下,也为数据共享情况下的迁移提供了灵活性;针对子查询共享,通过对相同谓词查询的抽取和共享,达到计算资源共享的目的。
-
公开(公告)号:CN110086847A
公开(公告)日:2019-08-02
申请号:CN201910183275.6
申请日:2019-03-12
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明提供一种数据分发方法、介质和电子设备,所述方法包括:拥有待分发数据的节点运行推送程序,所述推送程序用于在整个分发过程结束前重复地执行推送处理,所述推送处理包括:根据节点间的传输速率将所述数据推送至一待推送节点,其中所述拥有待分发数据的节点到所述待推送节点的传输速率在所述拥有待分发数据的节点到所有待推送节点的传输速率中为最高且不为0;所述待推送节点在接收到所述数据后,作为拥有待分发数据的节点运行所述推送程序。本发明减少了数据在网络中分发的时延,有效提高了网络带宽的利用率。
-
公开(公告)号:CN106446079B
公开(公告)日:2019-06-18
申请号:CN201610811562.3
申请日:2016-09-08
Applicant: 中国科学院计算技术研究所
IPC: G06F16/172 , G06F16/182
Abstract: 本发明提出一种面向分布式文件系统的文件预取/缓存方法及装置,该方法包括当客户端访问分布式文件系统中的文件时,将访问文件的访问时间及文件信息记录到访问日志中,并根据访问时间及文件信息判断文件是否进行缓存;根据访问日志,取出时间段TP内文件的各访问时间点,并获取每个访问时间点的邻域,通过聚类算法计算文件与邻域内被访问文件的关联度,将与关联度相对应的文件以字符串的形式存放到待预取队列中,通过余弦相似度算法分别计算待预取队列中两两文件间的相似度,对待预取队列中的文件进行重新组合,并结合相似度,对每个组合进行压缩,计算每个组合与文件的总关联度,并获取组合中总关联度最大的组合,作为所要预取的一组文件。
-
公开(公告)号:CN107203394A
公开(公告)日:2017-09-26
申请号:CN201710254255.4
申请日:2017-04-18
Applicant: 中国科学院计算技术研究所
IPC: G06F9/445
CPC classification number: G06F8/61 , G06F9/44578
Abstract: 本发明提出一种高安全docker容器批量部署方法及装置,涉及docker容器的自动部署技术领域,该方法包括步骤1,获取集群中每台物理机的CPU核数、CPU的利用率、内存使用率、带宽的使用率;步骤2,根据所述CPU的利用率、所述内存使用率、所述带宽的使用率,为每台物理机计算权值,根据所述权值,计算需部署docker容器的个数;步骤3,根据需部署docker容器的个数,并行创建docker容器。
-
公开(公告)号:CN107193898A
公开(公告)日:2017-09-22
申请号:CN201710320562.8
申请日:2017-05-09
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于分级复用的日志数据流的查询共享方法和系统,包括:将包含多个查询语句的查询操作注册到系统,通过设定滑动窗口对日志数据流中的元组进行截取;对多个该查询语句进行预处理,提取其中具有相同子查询的查询语句,并将其所查询结果作为中间结果加以存储,该中间结果用以在多个查询操作间进行共享;从所截取元组中提取具有相同中间存储结构的元组,并将其采用共享队列的方式加以存储以在多个查询操作间进行共享。本发明针对日志流查询存储共享,保证对日志流元组的数据进行有效存储、快速索引的前提下,也为数据共享情况下的迁移提供了灵活性;针对子查询共享,通过对相同谓词查询的抽取和共享,达到计算资源共享的目的。
-
公开(公告)号:CN104267707B
公开(公告)日:2017-07-21
申请号:CN201410553452.2
申请日:2014-10-17
Applicant: 中国科学院计算技术研究所
IPC: G05B19/418 , G01D21/02
CPC classification number: Y02P90/02
Abstract: 本发明提供一种环境数据多点实时采集系统,包括:上位机和分布在不同区域的一个或多个下位机,每个下位机包括微控制单元和部署在相应区域内不同监测点的多个传感器;传感器用于采集监测点的环境数据;微控制单元用于实时获取各个监测点的环境数据;判断实时获取的每个监测点当前的环境数据是否发生剧烈变化,并在发生剧烈变化时将当前的环境数据和相应监测点的身份信息传输给所述上位机;上位机用于实时接收各个下位机发送的环境数据和相应监测点的身份信息,并且对于任一监测点,如果上位机未接收到该监测点的新数据,则默认该监测点当前的环境数据与上一次所接收的数据一致。本发明能够以较低的开销来提高环境数据汇总跟踪的实时性。
-
公开(公告)号:CN103795717B
公开(公告)日:2017-01-25
申请号:CN201410031284.0
申请日:2014-01-23
Applicant: 中国科学院计算技术研究所
IPC: H04L29/06
Abstract: 本发明公开了一种云计算平台完整性证明方法及其系统,该方法基于混合式信任链对平台完整性进行证明,混合式信任链包含由云端虚拟机提供的静态信任链和远程验证方构建的动态信任链系统,该方法包括:静态信任链构建步骤和动态信任链系统构建与验证步骤,静态信任链构建步骤为通过云端虚拟机提供的虚拟化可信平台模块构建静态信任链;动态信任链系统构建与验证步骤为通过远程验证方构建一动态信任链系统,在可信执行环境中进行平台完整性验证,并且远程验证方生成可信执行环境的运行证据,使虚拟机更安全地信任接收到的验证结果。
-
公开(公告)号:CN103491144B
公开(公告)日:2016-08-10
申请号:CN201310407167.5
申请日:2013-09-09
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种广域网虚拟平台的构建方法,包括:将多个数据中心虚拟到逻辑局域网,在每个数据中心部署虚拟化平台;创建部署虚拟机所使用的文件中的模板镜像,用户私有镜像和虚拟机配置文件。其中在模板镜像中安装操作系统和用户请求业务的静态配置文件,用户私有镜像包括用户存储的私有文件和修改过的系统配置信息,虚拟机配置文件包括用户私有镜像虚拟机的参数。该方法还包括:在逻辑局域网内的多个数据中心部署模板镜像、用户私有镜像和虚拟机配置文件。本发明在节约存储资源的同时提高了部署虚拟机的效率,且实现了跨广域网的虚拟机迁移。
-
公开(公告)号:CN105740068A
公开(公告)日:2016-07-06
申请号:CN201610057234.9
申请日:2016-01-27
Applicant: 中国科学院计算技术研究所
CPC classification number: G06F9/4843 , G06F9/5016
Abstract: 本发明提出面向大数据平台基于内存数据局部性的调度方法及系统,涉及大数据处理分布式计算任务调度领域,该方法包括周期性获取数据节点内存中缓存的数据块,并周期性向存储管理节点汇报所述数据节点的内存数据块信息;获取用户提交的作业,计算节点对所述作业进行分片,当所述计算节点填写作业分片信息时,将所述内存数据块信息写入所述作业分片信息中;所述计算节点根据所述作业分片信息创建待执行任务,为所述待执行任务进行资源申请请求,所述计算节点根据所述资源申请请求,将资源节点分配给所述待执行任务。本发明能够加快整体作业执行速度,对于降低作业执行时间具有重要的实际意义,具有良好的市场前景和应用价值。
-
公开(公告)号:CN103257929B
公开(公告)日:2016-03-16
申请号:CN201310134852.5
申请日:2013-04-18
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种虚拟机内存映射方法及系统,其中方法包括:步骤1,根据应用层映射请求选择内存映射方式,执行步骤2或步骤3;步骤2,将待映射虚拟机的待映射机器页与监控虚拟机的物理页绑定,直接读写所映射的虚拟机的对应内存,执行步骤4;步骤3,监控虚拟机对物理内存中未使用的物理内存进行处理后,将其虚拟地址空间分解为相应的多个页组合的物理页,获取待映射虚拟机的待映射机器页,判断后进行相应处理,然后将待映射虚拟机的待映射机器页与监控虚拟机的物理页绑定,执行步骤4;步骤4,映射结束后,将与待映射虚拟机的映射内存对应的监控虚拟机内存释放,设置监控虚拟机的机器页到物理页映射表,将相应项设为无效机器页。
-
-
-
-
-
-
-
-
-