-
公开(公告)号：CN103064896B
公开(公告)日：2016-03-30
申请号：CN201210544906.0
申请日：2012-12-17
Applicant: 东北大学
IPC: G06F17/30
Abstract: 本发明属于移动数据管理技术领域，定义了移动对象间状态，提供了一种移动对象间状态分类的方法，根据实际应用对移动对象间众多的状态进行分类。首先读入用户传入的参数，读入移动对象轨迹文件，将其中每一条记录存入id对应的objChain[id]链表中，并当t＝T时，将该对象插入R树中。然后对objChian中每个移动对象query_id，发起范围查询，并对返回的移动对象集中的每个对象id1。进一步读query_id和id1对应的链表objChain[query_id]和objChain[id1]中，每个时刻query_id和id1的位置坐标，计算query_id和id1间的距离，并存入distance数组中。最后根据distance数组判断查询对象和返回的id1对象间的状态类型，比较第一时刻距离distance[0]和第T时刻距离distance[T-1]的大小。
-
公开(公告)号：CN105159818A
公开(公告)日：2015-12-16
申请号：CN201510555374.4
申请日：2015-08-28
Applicant: 东北大学
Abstract: 本发明公开了一种内存数据管理中日志恢复方法及其仿真系统，涉及数据管理技术领域，包括以下步骤：1)、主节点获取集群节点的节点编号，并对所述集群节点发送数据写入命令，所述集群节点进行数据存储，主节点形成映射表；2)、主节点根据节点编号，向与所述集群节点匹配的日志节点发送集群节点日志命令，所述日志节点将日志存储，并将所述日志持久化，然后向主节点日志成功记录信息；3)、在集群节点发生故障时，停止事务执行，主节点获取故障节点的编号，获取日志节点中日志记录进行恢复，能够对集群节点中发生故障部分的节点进行自己恢复的状态并且不需要相互传递有关数据项的信息，降低了日志恢复的复杂性，提高日志恢复的速率和安全保障。
-
公开(公告)号：CN103064896A
公开(公告)日：2013-04-24
申请号：CN201210544906.0
申请日：2012-12-17
Applicant: 东北大学
IPC: G06F17/30
Abstract: 本发明属于移动数据管理技术领域，定义了移动对象间状态，提供了一种移动对象间状态分类的方法，根据实际应用对移动对象间众多的状态进行分类。首先读入用户传入的参数，读入移动对象轨迹文件，将其中每一条记录存入id对应的objChain[id]链表中，并当t＝T时，将该对象插入R树中。然后对objChian中每个移动对象query_id，发起范围查询，并对返回的移动对象集中的每个对象id1。进一步读query_id和id1对应的链表objChain[query_id]和objChain[id1]中，每个时刻query_id和id1的位置坐标，计算query_id和id1间的距离，并存入distance数组中。最后根据distance数组判断查询对象和返回的id1对象间的状态类型，比较第一时刻距离distance[0]和第T时刻距离distance[T-1]的大小。
-
公开(公告)号：CN113934759B
公开(公告)日：2024-05-17
申请号：CN202111201901.3
申请日：2021-10-15
IPC: G06F16/2455 , G06F16/25 , G06F16/27
Abstract: 本发明公开了Gaia系统中面向融合计算的数据缓存装置与系统，是在Gaia系统中修改数据源算子、数据shuffle虚算子、维表关联计算算子进行实现，涉及分布式大数据处理技术领域。具体包括：Gaia系统中面向融合计算的全量缓存装置和增量缓存装置、以及由若干全量缓存装置构成的分布式缓存系统、由若干增量缓存装置构成的分布式缓存系统和由若干全量缓存装置与增量缓存装置混合构成的分布式缓存系统。每一个装置和系统的应用都将提高Gaia计算系统的缓存扩展能力，扩充整个Gaia计算系统所能缓存的批数据规模上限，进而提高系统所支持的缓存数据上限，提升Gaia系统单位时间内的混合计算效率，降低批数据查询延迟，更有利于处理海量数据的计算。
-
公开(公告)号：CN110908796B
公开(公告)日：2022-03-18
申请号：CN201911067587.7
申请日：2019-11-04
IPC: G06F9/50
Abstract: 本发明公开了一种Gaia系统中的多作业合并与优化系统及方法，属于大数据处理技术领域，解决了Gaia系统中用户作业和用户指定的资源大小方面的不匹配问题。本发明方案为：代理层通过集群交互层与集群进行数据交互。代理层，包括：作业信息采集模块，用于收集用户提交的作业，解析获得作业信息；作业分类模块，用于根据作业信息将作业分类为可合并型作业和不可合并型作业并送入作业缓冲池进行缓冲存储；作业合并模块，用于提取作业缓冲池中的可合并型作业进行合并，得到合并后的作业送入作业优化模块。作业优化模块，用于对合并后的作业进行优化，优化后的作业送入作业缓冲池进行缓冲存储。集群通过集群交互层从作业缓冲池中读取优化后的作业并执行。
-
Patent Agency Ranking
公开(公告)号：CN113934759A
公开(公告)日：2022-01-14
申请号：CN202111201901.3
申请日：2021-10-15
IPC: G06F16/2455 , G06F16/25 , G06F16/27
Abstract: 本发明公开了Gaia系统中面向融合计算的数据缓存装置与系统，是在Gaia系统中修改数据源算子、数据shuffle虚算子、维表关联计算算子进行实现，涉及分布式大数据处理技术领域。具体包括：Gaia系统中面向融合计算的全量缓存装置和增量缓存装置、以及由若干全量缓存装置构成的分布式缓存系统、由若干增量缓存装置构成的分布式缓存系统和由若干全量缓存装置与增量缓存装置混合构成的分布式缓存系统。每一个装置和系统的应用都将提高Gaia计算系统的缓存扩展能力，扩充整个Gaia计算系统所能缓存的批数据规模上限，进而提高系统所支持的缓存数据上限，提升Gaia系统单位时间内的混合计算效率，降低批数据查询延迟，更有利于处理海量数据的计算。
-
公开(公告)号：CN108804415B
公开(公告)日：2022-01-11
申请号：CN201810477586.9
申请日：2018-05-18
Applicant: 东北大学
IPC: G06F40/30 , G06F40/253 , G06K9/62
Abstract: 本发明公开了一种本体调试信息的度量与排序方法，包括根据用户对辩解的认知，提取辩解的度量标准，所述度量标准包含复杂度、相关度及新颖度三方面；采用ListNet排序学习方法构造top k排序模型，根据该排序模型对特征化后的辩解进行排序，获取排序前k个易理解的辩解。从用户认知的角度提出一套度量OWL辩解的标准，该套标准综合考虑了复杂度、相关度和新颖度三方面，基于该套标准，构造一个top k排序模型，获取易理解的前k个辩解，帮助用户更好地进行本体不一致的解释工作，从而增强用户体验。
-
公开(公告)号：CN113627664A
公开(公告)日：2021-11-09
申请号：CN202110890134.5
申请日：2021-08-04
IPC: G06Q10/04 , G06F16/23 , G06F16/2458 , G06F16/27 , G06K9/62
Abstract: 本发明公开了Gaia系统中的面向图迭代作业的运行时间预测系统及方法。在作业执行前通过抽样执行来快速捕捉当前图迭代算法的离线特征，包括收敛特征和每次迭代的关键输入特征；在作业执行过程中持续捕捉运行时特征，包括作业参数、资源利用情况以及详细的统计数据；以作业间的相似度为作业匹配和最终预测值计算的依据，主要包括通过抽样执行捕捉到的静态相似度以及真实执行捕捉到的动态相似度。匹配算法可通过制定的相似度评价标准来对算法的特定参数进行训练来使得迭代作业能够自动适应各种相似度。本发明是端对端的运行时间预测方法，综合了图迭代作业的离线特征和运行时特征，能够在较低的训练开销下准确地预测分布式图迭代作业的运行时间。
-
公开(公告)号：CN113609361A
公开(公告)日：2021-11-05
申请号：CN202110961564.1
申请日：2021-08-20
IPC: G06F16/906 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于Gaia系统的数据分类方法，所述方法基于超限学习机实现，Gaia系统由于其更新的底层流处理计算架构和多种全局优化与执行优化技术，相比于其他分布式计算系统具有更好的执行效率。在批处理模式下可实现海量吞吐，在流处理模式下可实现极速响应；另外，由于超限学习机是一种单隐层前馈神经网络，相比于其他的学习机具有更快的学习速度；将上述两种优势进行结合，可使得本发明实现更高效率的数据分类。再者通过构建的初始数据集UCollection自行判断判定启动批处理环境或流处理环境，用户在使用该学习机进行数据分类时可不用关心数据的类型与来源，只需关注对数据的处理过程即可，为用户的使用带来了极大的便利。
-
公开(公告)号：CN110795265B
公开(公告)日：2021-04-02
申请号：CN201911021197.6
申请日：2019-10-25
Abstract: 本发明公开一种基于乐观容错方法的迭代器，属于大数据环境下的分布式迭代计算技术领域，该迭代器包括增量迭代器和批量迭代器，综合考虑了不同大小的迭代任务和不同故障率的迭代计算任务，引入一个补偿函数，系统使用该函数重新初始化丢失的分区。发生故障时，系统暂停当前迭代，忽略失败的任务，并将丢失的计算重新分配给新获取的节点，调用分区上的补偿函数以恢复一致状态并恢复执行。对于故障频率较低的情况，大大减少了计算的延迟，提高了迭代处理效率。对于故障频率较高的情况，该迭代器可以保证迭代处理效率不低于优化前的迭代器。该乐观容错迭代器不用添加任务额外的操作，有效降低了容错开销。
-
-
-
-
-
-
-
-
-
Search Results
102
records
(took 0.024 seconds)
