内存数据管理中日志恢复方法及其仿真系统

    公开(公告)号:CN105159818B

    公开(公告)日:2018-01-02

    申请号:CN201510555374.4

    申请日:2015-08-28

    Applicant: 东北大学

    Abstract: 本发明公开了一种内存数据管理中日志恢复方法及其仿真系统,涉及数据管理技术领域,包括以下步骤:1)、主节点获取集群节点的节点编号,并对所述集群节点发送数据写入命令,所述集群节点进行数据存储,主节点形成映射表;2)、主节点根据节点编号,向与所述集群节点匹配的日志节点发送集群节点日志命令,所述日志节点将日志存储,并将所述日志持久化,然后向主节点日志成功记录信息;3)、在集群节点发生故障时,停止事务执行,主节点获取故障节点的编号,获取日志节点中日志记录进行恢复,能够对集群节点中发生故障部分的节点进行自己恢复的状态并且不需要相互传递有关数据项的信息,降低了日志恢复的复杂性,提高日志恢复的速率和安全保障。

    一种基于VGR索引结构的K匿名隐私保护方法

    公开(公告)号:CN104199883B

    公开(公告)日:2017-08-15

    申请号:CN201410418141.5

    申请日:2014-08-19

    Applicant: 东北大学

    Abstract: 本发明实施例提供了一种基于VGR索引结构的K匿名隐私保护方法,涉及数据安全领域,可以降低冗余率,减少传输时的通信代价,降低后台服务器的开销,提高整体性能。所述方法包括:根据查询对象的坐标信息定位到所在网格,并由网格里面的指针定位到R*树叶子中的一个条目,判断该条目是否满足匿名要求,若满足则输出该条目的匿名区域;如果不满足,则向上找其父亲结点,如果父亲结点满足,则按照不同的扩展策略进行简化合并,直到满足要求的匿名区域,如果父亲结点仍然不满足,则继续递归向上,直到找到满足要求的匿名区域。

    分布式环境下RDFS本体的调试方法

    公开(公告)号:CN104298598B

    公开(公告)日:2017-07-11

    申请号:CN201410544602.3

    申请日:2014-10-01

    Applicant: 东北大学

    Abstract: 本发明公开了一种分布式环境下RDFS本体的调试方法,本发明首先运用字典编码技术对RDFS本体数据进行压缩处理,降低了数据的存储空间,同时加快了本体推理及调试的速度;之后实现了基于并行分布式计算框架Spark的RDFS本体推理算法,并将推理后的本体调试信息压缩后,存储在HBase分布式数据库中,为本体调试阶段的调试信息查询做准备;本发明实现了基于Spark框架的分布式增量存储更新算法;为了能在分布式环境下求取蕴含辩解,本发明对以往的方法进行了改进,并实现了两种蕴含辩解求取方法。

    一种基于Spark的链式多路空间连接查询处理算法

    公开(公告)号:CN106909639A

    公开(公告)日:2017-06-30

    申请号:CN201710083816.9

    申请日:2017-02-16

    Applicant: 东北大学

    Abstract: 本发明公开了一种基于Spark的链式多路空间连接查询处理算法,包括如下步骤:步骤1:将整个数据空间划分成许多大小相同的网格单元,并采用Z‑order填充曲线技术对每个网格单元进行编码;步骤2:将m路空间连接数据集中的每个空间对象根据其在数据空间中的位置投影到相应的网格单元;步骤3:如果满足条件i

    一种基于垂直分解的并行频繁闭序列挖掘方法

    公开(公告)号:CN106599122A

    公开(公告)日:2017-04-26

    申请号:CN201611091669.1

    申请日:2016-12-01

    Applicant: 东北大学

    Abstract: 本发明提出一种基于垂直分解的并行频繁闭序列挖掘方法,属于数据挖掘领域,该方法采用序列求交的方式,缩短序列的长度,这相当于在竖直方向将原始序列分割成较短的序列;再从求交结果中选出K条差异度最大的序列,这又使得序列之间列数差异较大,两步均可缩短挖掘时间;本发明提出压缩频繁模式的观点,压缩模式的好处在于减小了频繁闭模式枚举范围,缩短挖掘时间,减小算法的时间复杂度;本发明采用现阶段最流行的并行框架Hadoop实现频繁闭序列挖掘算法;充分利用Hadoop的并行特点,将海量数据分散存储到集群中的各个节点上,按照map函数、reduce函数的特点编写算法,因为枚举出的模式独立的分发到不同节点进行检测封闭性,因此本方法获得较高的加速比。

    基于用户计算机交互事件的网瘾检测装置及方法

    公开(公告)号:CN103413054B

    公开(公告)日:2016-05-11

    申请号:CN201310368605.1

    申请日:2013-08-20

    Applicant: 东北大学

    Abstract: 本发明一种基于用户计算机交互事件的网瘾检测装置及方法,属于数据挖掘领域,本发明通过人们常用的上网工具,采集可量化的人机交互操作数据,并利用这些数据计算分析用户上网行为,从而检测出用户是否罹患网瘾,并对该上网工具进行有效控制;本专利检测网瘾的正确率可高达85%以上,有效避免了现有检测方法的失误,提高检测的准确度;本发明还可降低检测成本,用户可随时进行检测,对于中小学生应用价值高,有效预防并控制网瘾行为,减少网瘾伤害。

    一种面向同构对称发布及订阅系统的Top-k查询方法

    公开(公告)号:CN103020234B

    公开(公告)日:2015-12-23

    申请号:CN201210544907.5

    申请日:2012-12-17

    Applicant: 东北大学

    Abstract: 本发明属于数据库管理技术领域,提供了一种面向同构对称发布及订阅系统的Top-k查询方法,针对结果是否可以打分进行排序,分别提出了基于高复杂度打分函数的面向匹配结果可以排序的Top-k查询算法和基于k-支配Skyline查询的面向匹配结果不可排序的Top-k查询算法,在订阅数量、打分函数复杂度、不同数据分布、选择度以及k值方面时间效率优势越明显,具有较高的学术价值及应用价值,解决了面向用户最优推荐的问题,对同构对称发布及订阅系统的环匹配海量候选结果进行了有效地处理,快速、高效地为用户推荐满意度最大化的匹配,实现了面向用户的最优推荐,具有较强的推广与应用价值。

    基于局部超集的CPIR-V最近邻隐私保护查询方法

    公开(公告)号:CN104268210A

    公开(公告)日:2015-01-07

    申请号:CN201410491743.3

    申请日:2014-09-12

    Applicant: 东北大学

    CPC classification number: G06F17/30864

    Abstract: 本发明公开了一种基于局部超集的CPIR-V最近邻隐私保护查询方法,本发明首先寻找网格中潜在最近邻点集合的关系,然后建立网格之间的映射关系,之后通过使用找到的网格关系压缩潜在最近邻存储矩阵,从而达到减小计算量与通信代价的目的,所需计算的数据量、通信代价与客户端计算量都减小了。

    基于活动相似和社交信任的社交网好友推荐系统及方法

    公开(公告)号:CN104268171A

    公开(公告)日:2015-01-07

    申请号:CN201410462802.4

    申请日:2014-09-11

    Applicant: 东北大学

    CPC classification number: G06F17/30864 G06F17/2735

    Abstract: 本发明一种基于活动相似和社交信任的社交网好友推荐系统及方法,属于信息推荐和数据挖掘领域,该方法主要是利用用户社交信任值和活动偏好相似性来实现基于位置社交网络中好友推荐,由于活动可以体现用户兴趣偏好,因此通过用户间活动相似性发现与其偏好相似的好友;由于社交信任能反映用户间交互紧密程度,因此根据不同程度信任关系进行好友推荐具有更合理的可解释性;实验证明,本发明推荐效果在准确性和合理解释性上均优于现存的好友推荐方法,实际应用价值很高,如果能得到推广,对企事业单位明确目标客户范围,提高广告服务的关联度和准确性,提高广告营销价值均有重要的指导和决策意义。

    一种Gaia系统中面向迭代计算的并行度动态调整方法

    公开(公告)号:CN113835896B

    公开(公告)日:2024-03-22

    申请号:CN202111149214.1

    申请日:2021-09-29

    Abstract: 本发明提供一种Gaia系统中面向迭代计算的并行度动态调整方法,涉及分布式大数据计算系统及迭代计算技术领域。该方法不需要事先预测作业所需资源,而是在作业执行过程中进行迭代资源的动态调整。如果作业执行过程中出现Slot资源不足或占用过高的情况,则根据用户预先设定的资源利用率目标进行相应的Slot资源扩容,使得作业所需的迭代资源得到满足。如果作业执行过程中出现Slot资源浪费的情况,则根据用户预设的资源利用率目标进行相应的Slot资源进行缩容,使得迭代作业所占用的Slot资源数量进行相应的减少。该并行度动态调整方法不需要在作业执行之前就执行相似的作业,也不需要执行专门的作业短示例,无需额外过多的预测时间。

Patent Agency Ranking