-
公开(公告)号:CN103473287A
公开(公告)日:2013-12-25
申请号:CN201310385972.2
申请日:2013-08-30
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种自动分发、运行和更新可执行程序的方法及系统,包括客户端将可执行程序及相关文件所在目录打包成一个文件,并采用大文件分割及索引存储方法将打包文件存储到状态存储集群;工作节点定期到状态存储集群检测索引状态,当检测到有新的索引或已有索引有更新,按照索引方式将可执行程序下载到本地目录;工作节点定期到状态存储集群获取程序相关信息;工作节点根据程序相关信息,每隔心跳时间到本地目录检测可执行程序的下载状态,直到检测到可执行程序下载完成时,执行可执行程序;本发明可实现可执行程序的自动分发、运行及更新,尤其在线更新正在执行的可执行程序,无需重新提交Job信息,增加了系统的灵活性与稳定性。
-
公开(公告)号:CN105468669B
公开(公告)日:2019-05-21
申请号:CN201510671795.3
申请日:2015-10-13
Applicant: 中国科学院信息工程研究所
IPC: G06F16/951 , G06K9/62
Abstract: 本发明涉及一种融合用户关系的自适应微博话题追踪方法,其步骤包括:1)通过用户集合中的所有用户的行为推动推文集合按时间线延展,并将用户集合中所有用户发表的推文映射到特征向量空间中;2)对推文特征空间进行坐标变换,使话题相关推文集合和话题非相关推文集合的分布为线性可分;3)在当前跟踪时间窗内,采用聚类算法对推文特征向量进行聚类,找到目标话题的相关推文集合;4)利用本轮得到的相关推文集合进行下一轮话题跟踪,并将与本轮得到的相关推文集合关联的用户添加至用户集合。本发明借助用户的历史行为增加了推文判断的稳定性,能够有效避免话题追踪过程中出现话题漂移的现象,并能够密切跟踪话题的焦点演变。
-
公开(公告)号:CN105468669A
公开(公告)日:2016-04-06
申请号:CN201510671795.3
申请日:2015-10-13
Applicant: 中国科学院信息工程研究所
CPC classification number: G06F16/951 , G06K9/6269
Abstract: 本发明涉及一种融合用户关系的自适应微博话题追踪方法,其步骤包括:1)通过用户集合中的所有用户的行为推动推文集合按时间线延展,并将用户集合中所有用户发表的推文映射到特征向量空间中;2)对推文特征空间进行坐标变换,使话题相关推文集合和话题非相关推文集合的分布为线性可分;3)在当前跟踪时间窗内,采用聚类算法对推文特征向量进行聚类,找到目标话题的相关推文集合;4)利用本轮得到的相关推文集合进行下一轮话题跟踪,并将与本轮得到的相关推文集合关联的用户添加至用户集合。本发明借助用户的历史行为增加了推文判断的稳定性,能够有效避免话题追踪过程中出现话题漂移的现象,并能够密切跟踪话题的焦点演变。
-
公开(公告)号:CN103634394B
公开(公告)日:2016-08-17
申请号:CN201310618731.8
申请日:2013-11-28
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向数据流处理的弹性可扩展资源管理方法及系统,包括本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况,周期性地向给弹性管理器发送监控报告;所述弹性管理器分析所有本地管理器发送来的监控报告,当发现某一子集群中的某个执行实例出现负载问题时,生成相应的负载均衡策略,启动窗口重构协议或状态重构协议,重新确定上游相关执行实例原来将要发送给出现负载问题的执行实例的元组的去向;本发明所述系统需要具有可扩展性,即可根据当前的数据流负载情况,动态增加、减少节点数量或者在已有节点间均衡负载输入,以实现在保证服务质量的前提下提高资源的利用率。
-
公开(公告)号:CN103634394A
公开(公告)日:2014-03-12
申请号:CN201310618731.8
申请日:2013-11-28
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向数据流处理的弹性可扩展资源管理方法及系统,包括本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况,周期性地向给弹性管理器发送监控报告;所述弹性管理器分析所有本地管理器发送来的监控报告,当发现某一子集群中的某个执行实例出现负载问题时,生成相应的负载均衡策略,启动窗口重构协议或状态重构协议,重新确定上游相关执行实例原来将要发送给出现负载问题的执行实例的元组的去向;本发明所述系统需要具有可扩展性,即可根据当前的数据流负载情况,动态增加、减少节点数量或者在已有节点间均衡负载输入,以实现在保证服务质量的前提下提高资源的利用率。
-
公开(公告)号:CN103716182B
公开(公告)日:2016-08-31
申请号:CN201310681028.1
申请日:2013-12-12
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向实时云平台的故障检测与容错方法及系统,包括发送命令,提交任务,并将分配给工作节点的任务存储在相应路径下的客户端;用于监控各工作节点的运行状态,根据工作节点上传的心跳信息进行节点级故障检测与容错,执行故障节点中任务的迁移的全局状态监控模块;用于存储全局状态监控模块和各个工作节点的工作状态及心跳信息的全局状态存储模块;用于执行任务,运行守护进程来守护工作进程,并执行程序级故障检测与容错的工作节点;本发明中使整个集群的状态信息全部存储在Zookeeper系统中,实现节点的无状态架构,节点故障不会造成状态丢失,具有完善的故障检测与容错机制,实现多级容错,保障实时业务的不间断运行。
-
公开(公告)号:CN102855473B
公开(公告)日:2016-03-02
申请号:CN201210299415.4
申请日:2012-08-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于相似性度量的图像多目标检测方法,该方法具体步骤:步骤一:提取目标样本库中每幅图像的特征点,计算出每幅图像的BOF词袋向量,从而构成所述目标样本库的BOF向量集合;步骤二:利用目标样本库的BOF向量集合构建所述目标样本库的M-Tree索引;步骤三:将待检测图像在M-tree索引中进行多目标检测,并将检测果返回给用户;该方法利用BOF向量进行目标检测,具有很好的鲁棒性,对目标形变,遮挡,光照变化不敏感;可以一次检测多个目标,不需要重复检测,可以实现高效的在线多目标检测;该方法可广泛用于网络信息安全、图像多目标检测,视频多目标跟踪等多个领域。
-
公开(公告)号:CN103716182A
公开(公告)日:2014-04-09
申请号:CN201310681028.1
申请日:2013-12-12
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向实时云平台的故障检测与容错方法及系统,包括发送命令,提交任务,并将分配给工作节点的任务存储在相应路径下的客户端;用于监控各工作节点的运行状态,根据工作节点上传的心跳信息进行节点级故障检测与容错,执行故障节点中任务的迁移的全局状态监控模块;用于存储全局状态监控模块和各个工作节点的工作状态及心跳信息的全局状态存储模块;用于执行任务,运行守护进程来守护工作进程,并执行程序级故障检测与容错的工作节点;本发明中使整个集群的状态信息全部存储在Zookeeper系统中,实现节点的无状态架构,节点故障不会造成状态丢失,具有完善的故障检测与容错机制,实现多级容错,保障实时业务的不间断运行。
-
公开(公告)号:CN103631928A
公开(公告)日:2014-03-12
申请号:CN201310652980.9
申请日:2013-12-05
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/3033 , G06F17/30598
Abstract: 本发明涉及一种基于局部敏感哈希的聚类索引方法及系统,所述方法包括:步骤1,对数据集进行聚类分析,将数据集分成若干个类,并确定和保存每个类的聚类中心;步骤2,在每个类中采用局部敏感哈希方法建立哈希表;步骤3,计算各聚类中心与查询点之间的欧式距离,选择距离最小的多个类作为候选类;步骤4,计算查询点在每个候选类中的哈希值,根据步骤2建立的哈希表,选出候选类中与查询点哈希值相同的数据点作为候选点;步骤5,计算候选点与查询点之间的欧式距离,将欧式距离最小的候选点作为查询点的最近邻点。本发明可以在牺牲较小准确率的情况下换取查询效率的较大提高和查询性能的相对稳定。
-
公开(公告)号:CN102855473A
公开(公告)日:2013-01-02
申请号:CN201210299415.4
申请日:2012-08-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于相似性度量的图像多目标检测方法,该方法具体步骤:步骤一:提取目标样本库中每幅图像的特征点,计算出每幅图像的BOF词袋向量,从而构成所述目标样本库的BOF向量集合;步骤二:利用目标样本库的BOF向量集合构建所述目标样本库的M—Tree索引;步骤三:将待检测图像在M-t ree索引中进行多目标检测,并将检测果返回给用户;该方法利用BOF向量进行目标检测,具有很好的鲁棒性,对目标形变,遮挡,光照变化不敏感;可以一次检测多个目标,不需要重复检测,可以实现高效的在线多目标检测;该方法可广泛用于网络信息安全、图像多目标检测,视频多目标跟踪等多个领域。
-
-
-
-
-
-
-
-
-