-
公开(公告)号:CN105912666B
公开(公告)日:2019-06-25
申请号:CN201610224238.1
申请日:2016-04-12
Applicant: 中国科学院软件研究所
IPC: G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种面向云平台的混合结构数据高性能存储、查询方法。本方法为:1)将云平台的数据集根据时间分段划分为一系列的存储页;然后分别将每一存储页存储到云平台中的一存储节点;2)云平台对当前收到的增量数据封装后发送给对应的存储节点,该存储节点根据该增量数据的时间戳确定是否需要建立新的存储页,如果需要,则根据当前时间戳创建新的存储页并建立页索引和属性索引存储结构;否则根据采样时间确定所属的时间分段位置,从该存储节点的数据集中获取对应的存储页;3)该存储节点将该封装数据存储到该存储页中并更新页索引;并且根据该数据属性集从该增量数据中提取对应属性值,然后根据属性值的规约区间更新属性索引存储结构。
-
公开(公告)号:CN103458021A
公开(公告)日:2013-12-18
申请号:CN201310384782.9
申请日:2013-08-29
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种事件驱动的随态自适应的传感器组织方法。本方法为:1)建立一事件多模响应模型,将事件划分为多个级别;2)当一节点采集数据位于某级别事件对应的采样值区间时,构造一事件消息并将其广播到物联网中;3)其他节点接收到该事件消息后,判断本地是否已缓存在该事件消息;如果是,则忽略该消息,否则将其缓存在本地并确定自己的响应级别及上报频率,同时将本节点标识与地址添加到消息路径列表后继续广播;4)根据节点的级别构建层化多叉树结构,对该事件构建一完整链路;5)完整链路中的节点根据其响应级别对应的数据上报频率将该事件的数据向上一级节点发送,直到sink节点。本发明实现节点的多模响应和网络的快速组织。
-
公开(公告)号:CN103412897A
公开(公告)日:2013-11-27
申请号:CN201310317203.9
申请日:2013-07-25
Applicant: 中国科学院软件研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于分布式结构的并行数据处理方法,其存储步骤包括:1)根据主键值类型在主节点抽取得到数据主键值,在主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点,同时建立全局关键字B+树索引;2)根据全局关键字B+树索引基于share-nothing原则将数据分发到主键值对应的从节点;3)在从节点接受数据分发请求,在本地基于share-everything原则将数据存储在子节点中。本发明中结合有效的索引机制,提高系统数据存储与管理的效率;一方面保证数据合理分布,降低从节点存储吞吐,提高局部查询性能,利用从节点高可扩展性保证系统弹性;另一方面通过局部多副本复制保证局部副本安全。
-
公开(公告)号:CN103458021B
公开(公告)日:2016-07-06
申请号:CN201310384782.9
申请日:2013-08-29
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种事件驱动的随态自适应的传感器组织方法。本方法为:1)建立一事件多模响应模型,将事件划分为多个级别;2)当一节点采集数据位于某级别事件对应的采样值区间时,构造一事件消息并将其广播到物联网中;3)其他节点接收到该事件消息后,判断本地是否已缓存在该事件消息;如果是,则忽略该消息,否则将其缓存在本地并确定自己的响应级别及上报频率,同时将本节点标识与地址添加到消息路径列表后继续广播;4)根据节点的级别构建层化多叉树结构,对该事件构建一完整链路;5)完整链路中的节点根据其响应级别对应的数据上报频率将该事件的数据向上一级节点发送,直到sink节点。本发明实现节点的多模响应和网络的快速组织。
-
公开(公告)号:CN105117424A
公开(公告)日:2015-12-02
申请号:CN201510462970.8
申请日:2015-07-31
Applicant: 中国科学院软件研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于停留时间的移动对象语义行为模式挖掘方法,其步骤为:1)对移动对象语义轨迹数据进行采集,存储移动对象的语义信息;2)对每个移动对象,挖掘出其所有的频繁语义行为模式;3)设计基于时间权重的语义行为模式相似度度量方法,计算所述频繁语义行为模式之间的相似度;4)根据所述频繁语义行为模式之间的相似度,采用剪枝策略进行层次聚类,挖掘出所有具有相似语义行为模式的移动对象聚类。本发明可以保证移动对象语义行为模式挖掘的高准确性和高效性。本发明的最终结果可以提供给相关领域的用户使用,例如朋友推荐系统、轨迹破案领域、个性化服务领域等,可以支持对移动对象群体相似语义行为模式的准确查找,降低错误率。
-
公开(公告)号:CN105912666A
公开(公告)日:2016-08-31
申请号:CN201610224238.1
申请日:2016-04-12
Applicant: 中国科学院软件研究所
IPC: G06F17/30
CPC classification number: G06F16/2455 , G06F16/2272 , G06F16/284
Abstract: 本发明公开了一种面向云平台的混合结构数据高性能存储、查询方法。本方法为:1)将云平台的数据集根据时间分段划分为一系列的存储页;然后分别将每一存储页存储到云平台中的一存储节点;2)云平台对当前收到的增量数据封装后发送给对应的存储节点,该存储节点根据该增量数据的时间戳确定是否需要建立新的存储页,如果需要,则根据当前时间戳创建新的存储页并建立页索引和属性索引存储结构;否则根据采样时间确定所属的时间分段位置,从该存储节点的数据集中获取对应的存储页;3)该存储节点将该封装数据存储到该存储页中并更新页索引;并且根据该数据属性集从该增量数据中提取对应属性值,然后根据属性值的规约区间更新属性索引存储结构。
-
公开(公告)号:CN105243140A
公开(公告)日:2016-01-13
申请号:CN201510652571.8
申请日:2015-10-10
Applicant: 中国科学院软件研究所
IPC: G06F17/30
CPC classification number: G06F17/30312 , G06F17/30194 , G06F17/30595
Abstract: 本发明提出了一种面向高速列车实时监控的海量数据管理方法。该方法以分布式文件系统和关系数据库构成二级存储架构,其上层基于关系数据库建立面向里程触发的窗口数据管理机制,实现监控数据的组织;利用底层分布式文件系统实现海量数据的平衡存储管理。在这一基础上,结合对象动态耦合的存储模型实现数据的有序组织;同时,利用全局-局部属性传递管理的方式,针对列车建立里程累积触发,满足列车监控、分析的需求。本发明针对高速列车实时监控,提供了大数据背景下海量、跨专业数据管理的核心技术,在交通、物流、智慧城市等领域具有积极的应用价值。
-
公开(公告)号:CN104036139A
公开(公告)日:2014-09-10
申请号:CN201410260980.9
申请日:2014-06-12
Applicant: 中国科学院软件研究所
IPC: G06F19/00
Abstract: 本发明公开一种移动对象轨迹监测方法,采用并行架构计算系统,分为任务管理层与协同计算层,任务管理层包括若干任务管理节点,协同计算层包括若干计算节点;其步骤包括:1)移动对象轨迹采集,获取移动对象轨迹数据集;2)提交移动对象轨迹数据集以及计算请求;3)对移动对象轨迹数据集进行初始分类得到初始分类样本集;并分配计算任务数据集;4)对移动对象轨迹数据集进行聚类分析,5)汇总各分类样本集信息及聚类子集信息,得到聚类结果轨迹;6)根据聚类结果轨迹进行移动对象的空间分布监测或行为模式监测。本发明适应大数据应用环境下海量移动对象轨迹监测的需求,提升整体计算性能达30%。
-
公开(公告)号:CN105117424B
公开(公告)日:2019-08-02
申请号:CN201510462970.8
申请日:2015-07-31
Applicant: 中国科学院软件研究所
Abstract: 本发明涉及一种基于停留时间的移动对象语义行为模式挖掘方法,其步骤为:1)对移动对象语义轨迹数据进行采集,存储移动对象的语义信息;2)对每个移动对象,挖掘出其所有的频繁语义行为模式;3)设计基于时间权重的语义行为模式相似度度量方法,计算所述频繁语义行为模式之间的相似度;4)根据所述频繁语义行为模式之间的相似度,采用剪枝策略进行层次聚类,挖掘出所有具有相似语义行为模式的移动对象聚类。本发明可以保证移动对象语义行为模式挖掘的高准确性和高效性。本发明的最终结果可以提供给相关领域的用户使用,例如朋友推荐系统、轨迹破案领域、个性化服务领域等,可以支持对移动对象群体相似语义行为模式的准确查找,降低错误率。
-
公开(公告)号:CN105243140B
公开(公告)日:2018-07-06
申请号:CN201510652571.8
申请日:2015-10-10
Applicant: 中国科学院软件研究所
IPC: G06F17/30
Abstract: 本发明提出了一种面向高速列车实时监控的海量数据管理方法。该方法以分布式文件系统和关系数据库构成二级存储架构,其上层基于关系数据库建立面向里程触发的窗口数据管理机制,实现监控数据的组织;利用底层分布式文件系统实现海量数据的平衡存储管理。在这一基础上,结合对象动态耦合的存储模型实现数据的有序组织;同时,利用全局‑局部属性传递管理的方式,针对列车建立里程累积触发,满足列车监控、分析的需求。本发明针对高速列车实时监控,提供了大数据背景下海量、跨专业数据管理的核心技术,在交通、物流、智慧城市等领域具有积极的应用价值。
-
-
-
-
-
-
-
-
-