-
公开(公告)号:CN105224881A
公开(公告)日:2016-01-06
申请号:CN201510611209.6
申请日:2015-09-23
Applicant: 华中科技大学
IPC: G06F21/62
CPC classification number: G06F21/6254 , G06F2221/2107
Abstract: 本发明公开了一种众包数据库下的双向k-匿名方法,其中,该方法包括:首先,针对公司职位数据集进行k-匿名处理;接着,针对应聘用户的原始数据集进行分阶段的匿名化处理;继而,将获得的匿名化的公司职位数据集和匿名化的用户数据集一同发布到众包平台,在注册用户做职业推荐任务后,得到用户-公司职位关系表A及用户-公司职位关系表B;对所述用户-公司职位关系表A和所述用户-公司职位关系表B进行交集运算,得到最终确定的用户-公司职位关系表。本发明不仅解决了众包数据库下不能同时保护应聘用户与公司双方隐私的问题,同时通过对应聘用户的原始数据的匿名化处理,在保证双方隐私不被泄露的同时,显著提高了匿名数据的可用性。
-
公开(公告)号:CN110222088B
公开(公告)日:2021-08-31
申请号:CN201910419541.0
申请日:2019-05-20
Applicant: 华中科技大学
IPC: G06F16/2458 , G06N3/00
Abstract: 本发明公开了一种基于插入位置选择的数据近似集合表示方法及系统,属于计算机信息表示领域,包括:为布谷鸟过滤器中每一个哈希桶维护一个重定位计数;对于待插入的成员x,执行如下步骤:分别获得其指纹信息ξx和两个候选哈希桶;若两个候选哈希桶中均未存储指纹信息ξx,则判断其中是否存在空槽;否则,插入操作结束;若只有一个存在空槽,将指纹信息ξx插入到存在空槽的候选哈希桶中;若两个均不存在空槽,则通过重定位操作将指纹信息ξx插入到重定位计数较小的候选哈希桶中,并相应更新哈希桶的重定位次数;若两个均存在空槽,则将指纹信息ξx插入到全局插入数目较小的候选哈希桶中。本发明能够同时支持集合成员删除操作和高效的插入操作。
-
公开(公告)号:CN110190991B
公开(公告)日:2020-06-02
申请号:CN201910423546.0
申请日:2019-05-21
Applicant: 华中科技大学
Abstract: 本发明公开了一种多应用场景下的分布式流处理系统的容错方法,属于分布式流处理领域。本发明通过对所有节点的历史有效数据分析以及实时负载数据的监测,有效地根据节点不同负载状态采取了主动备份机制或者检查点机制,从而有效解决了流处理系统中的计算节点故障恢复延迟高的问题,降低了容错开销,极大缩短了恢复延迟,提高系统的可靠性。通过在多应用场景下通过负载感知进行热备任务选择和备用节点选择,合理选取备用节点用于运行部分任务的副本任务,利用空闲节点上的空闲资源为忙碌节点上的任务做热备,从而显著缩短忙碌节点在发生故障时的恢复时延,同时提高分布式流处理系统容错机制的资源利用率和可靠性。
-
公开(公告)号:CN110222088A
公开(公告)日:2019-09-10
申请号:CN201910419541.0
申请日:2019-05-20
Applicant: 华中科技大学
IPC: G06F16/2458 , G06N3/00
Abstract: 本发明公开了一种基于插入位置选择的数据近似集合表示方法及系统,属于计算机信息表示领域,包括:为布谷鸟过滤器中每一个哈希桶维护一个重定位计数;对于待插入的成员x,执行如下步骤:分别获得其指纹信息ξx和两个候选哈希桶;若两个候选哈希桶中均未存储指纹信息ξx,则判断其中是否存在空槽;否则,插入操作结束;若只有一个存在空槽,将指纹信息ξx插入到存在空槽的候选哈希桶中;若两个均不存在空槽,则通过重定位操作将指纹信息ξx插入到重定位计数较小的候选哈希桶中,并相应更新哈希桶的重定位次数;若两个均存在空槽,则将指纹信息ξx插入到全局插入数目较小的候选哈希桶中。本发明能够同时支持集合成员删除操作和高效的插入操作。
-
公开(公告)号:CN110213172A
公开(公告)日:2019-09-06
申请号:CN201910408893.6
申请日:2019-05-17
Applicant: 华中科技大学
IPC: H04L12/803 , H04L12/26
Abstract: 本发明公开了一种基于动态负载监测的流连接系统负载均衡方法及装置,属于计算机实时大数据流式处理领域,包括:并行的数据分发步骤以及负载监测步骤;数据分发步骤包括:对于任意一个元组t,根据键值与处理节点的映射关系分别将其分发到两部分节点中,以分别对元组t进行存储和连接匹配;负载监测步骤包括:(S1)估计各处理节点的计算负载;(S2)基于计算负载分别计算两部分节点的负载不均程度;(S3)对于任意一部分节点的负载不均程度,若大于均衡阈值,则按照键值进行负载迁移,以减小该负载不均程度,然后转入步骤(S4);否则,直接转入步骤(S4);(S4)经过预设的时间间隔后,转入步骤(S1)。本发明能够满足高吞吐低延时的系统需求。
-
公开(公告)号:CN110213172B
公开(公告)日:2020-10-30
申请号:CN201910408893.6
申请日:2019-05-17
Applicant: 华中科技大学
IPC: H04L12/803 , H04L12/26
Abstract: 本发明公开了一种基于动态负载监测的流连接系统负载均衡方法及装置,属于计算机实时大数据流式处理领域,包括:并行的数据分发步骤以及负载监测步骤;数据分发步骤包括:对于任意一个元组t,根据键值与处理节点的映射关系分别将其分发到两部分节点中,以分别对元组t进行存储和连接匹配;负载监测步骤包括:(S1)估计各处理节点的计算负载;(S2)基于计算负载分别计算两部分节点的负载不均程度;(S3)对于任意一部分节点的负载不均程度,若大于均衡阈值,则按照键值进行负载迁移,以减小该负载不均程度,然后转入步骤(S4);否则,直接转入步骤(S4);(S4)经过预设的时间间隔后,转入步骤(S1)。本发明能够满足高吞吐低延时的系统需求。
-
公开(公告)号:CN110190991A
公开(公告)日:2019-08-30
申请号:CN201910423546.0
申请日:2019-05-21
Applicant: 华中科技大学
Abstract: 本发明公开了一种多应用场景下的分布式流处理系统的容错方法,属于分布式流处理领域。本发明通过对所有节点的历史有效数据分析以及实时负载数据的监测,有效地根据节点不同负载状态采取了主动备份机制或者检查点机制,从而有效解决了流处理系统中的计算节点故障恢复延迟高的问题,降低了容错开销,极大缩短了恢复延迟,提高系统的可靠性。通过在多应用场景下通过负载感知进行热备任务选择和备用节点选择,合理选取备用节点用于运行部分任务的副本任务,利用空闲节点上的空闲资源为忙碌节点上的任务做热备,从而显著缩短忙碌节点在发生故障时的恢复时延,同时提高分布式流处理系统容错机制的资源利用率和可靠性。
-
公开(公告)号:CN105224881B
公开(公告)日:2017-12-26
申请号:CN201510611209.6
申请日:2015-09-23
Applicant: 华中科技大学
IPC: G06F21/62
Abstract: 本发明公开了一种众包数据库下的双向k‑匿名方法,其中,该方法包括:首先,针对公司职位数据集进行k‑匿名处理;接着,针对应聘用户的原始数据集进行分阶段的匿名化处理;继而,将获得的匿名化的公司职位数据集和匿名化的用户数据集一同发布到众包平台,在注册用户做职业推荐任务后,得到用户‑公司职位关系表A及用户‑公司职位关系表B;对所述用户‑公司职位关系表A和所述用户‑公司职位关系表B进行交集运算,得到最终确定的用户‑公司职位关系表。本发明不仅解决了众包数据库下不能同时保护应聘用户与公司双方隐私的问题,同时通过对应聘用户的原始数据的匿名化处理,在保证双方隐私不被泄露的同时,显著提高了匿名数据的可用性。
-
-
-
-
-
-
-