一种数据处理方法、装置、终端及存储介质

    公开(公告)号:CN114070563B

    公开(公告)日:2023-09-05

    申请号:CN202010761601.X

    申请日:2020-07-31

    Inventor: 顾刚 李宏源

    Abstract: 本申请实施例提供一种数据处理方法、装置、终端及存储介质,其中,所述方法包括:对待处理数据进行采集,将采集的数据写入消息缓存队列;如果消息缓存队列中的数据满足第一预设条件,将消息缓存队列中具有第一消息ID的数据发送至数据处理服务器,以使数据处理服务器对所述数据进行处理生成第二消息ID;接收数据处理服务器发送的所述第二消息ID;对所述第一消息ID和所述第二消息ID进行异或操作,确定所述异或操作的值;如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值,输出告警信息,如此,可以提高数据采集过程中的数据完整性。

    一种网络结构的检测方法、装置、电子设备及存储介质

    公开(公告)号:CN110351106A

    公开(公告)日:2019-10-18

    申请号:CN201810288830.7

    申请日:2018-04-03

    Abstract: 本发明提供了一种网络结构的检测方法、装置、电子设备及存储介质,以及时发现待检测网络中的重要节点,通过重要节点确定网络结构。该方法包括:将待检测网络中的节点划分到不同的社区中,每个节点对应一个社区;根据节点与在其所在第一社区内其他节点之间连接的第一连接数量、节点的度以及划分得到的社区数量,计算得到表征节点角色的第一参数和第二参数;根据第一参数、第二参数以及预设的阈值范围,将节点的角色为设定角色的节点确定为重要节点;根据重要节点的角色,及重要节点之间连接的连接数量,计算相同角色或者不同角色的重要节点之间连接的Z-score值;根据每个Z-score值,确定当前待检测网络的网络结构。

    一种流式数据隐私保护方法及装置

    公开(公告)号:CN110365620B

    公开(公告)日:2021-08-13

    申请号:CN201810253282.4

    申请日:2018-03-26

    Abstract: 本发明涉及大数据隐私保护技术领域,特别涉及一种流式数据隐私保护方法及装置。该方法为:将实时采集到的流式数据切分为多个数据块;针对上述多个数据块中每一隐私数据块分别执行以下操作:将一个隐私数据块切分为多个字段,并针对每一字段分别生成相应的包含有随机数,字段名和索引的三元组,其中,一个字段的随机数用于表征上述一个字段的移位信息,上述一个字段的索引用于表征上述一个字段的存储位置信息;采用数据拥有者的密钥对三元组进行加密处理,并将移位后的上述多个字段和每一字段分别对应的加密后的三元组存储至数据存储器,其中,不同的数据拥有者的密钥不同。

    任务处理方法及其装置、存储介质

    公开(公告)号:CN112527471B

    公开(公告)日:2023-04-07

    申请号:CN201910887217.1

    申请日:2019-09-19

    Abstract: 本申请实施例公开了一种任务处理方法及其装置、存储介质,任务处理方法应用于集群中的客户端,集群中包括多个能够互相通信的客户端,方法包括:接收任务发送端发送的第一任务;确定第一任务为可拆分的复合任务时,拆分第一任务,得到k个初级子任务;其中,k为正整数,k≥1;向对应的客户端发送k个初级子任务;其中,初级子任务对应的客户端由初级子任务的类型确定;接收对应的客户端发送的初级子任务的执行结果;根据各初级子任务的执行结果,确定第一任务的第一执行结果;向任务发送端发送第一执行结果。本申请实施例中通过将拆分得到的初级子任务发送给集群中的其他客户端,可以实现任务的分布式执行,降低各个客户端处的运算压力。

    一种数据处理方法、装置、终端及存储介质

    公开(公告)号:CN114070563A

    公开(公告)日:2022-02-18

    申请号:CN202010761601.X

    申请日:2020-07-31

    Inventor: 顾刚 李宏源

    Abstract: 本申请实施例提供一种数据处理方法、装置、终端及存储介质,其中,所述方法包括:对待处理数据进行采集,将采集的数据写入消息缓存队列;如果消息缓存队列中的数据满足第一预设条件,将消息缓存队列中具有第一消息ID的数据发送至数据处理服务器,以使数据处理服务器对所述数据进行处理生成第二消息ID;接收数据处理服务器发送的所述第二消息ID;对所述第一消息ID和所述第二消息ID进行异或操作,确定所述异或操作的值;如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值,输出告警信息,如此,可以提高数据采集过程中的数据完整性。

    任务处理方法及其装置、存储介质

    公开(公告)号:CN112527471A

    公开(公告)日:2021-03-19

    申请号:CN201910887217.1

    申请日:2019-09-19

    Abstract: 本申请实施例公开了一种任务处理方法及其装置、存储介质,任务处理方法应用于集群中的客户端,集群中包括多个能够互相通信的客户端,方法包括:接收任务发送端发送的第一任务;确定第一任务为可拆分的复合任务时,拆分第一任务,得到k个初级子任务;其中,k为正整数,k≥1;向对应的客户端发送k个初级子任务;其中,初级子任务对应的客户端由初级子任务的类型确定;接收对应的客户端发送的初级子任务的执行结果;根据各初级子任务的执行结果,确定第一任务的第一执行结果;向任务发送端发送第一执行结果。本申请实施例中通过将拆分得到的初级子任务发送给集群中的其他客户端,可以实现任务的分布式执行,降低各个客户端处的运算压力。

    一种流式数据隐私保护方法及装置

    公开(公告)号:CN110365620A

    公开(公告)日:2019-10-22

    申请号:CN201810253282.4

    申请日:2018-03-26

    Abstract: 本发明涉及大数据隐私保护技术领域,特别涉及一种流式数据隐私保护方法及装置。该方法为:将实时采集到的流式数据切分为多个数据块;针对上述多个数据块中每一隐私数据块分别执行以下操作:将一个隐私数据块切分为多个字段,并针对每一字段分别生成相应的包含有随机数,字段名和索引的三元组,其中,一个字段的随机数用于表征上述一个字段的移位信息,上述一个字段的索引用于表征上述一个字段的存储位置信息;采用数据拥有者的密钥对三元组进行加密处理,并将移位后的上述多个字段和每一字段分别对应的加密后的三元组存储至数据存储器,其中,不同的数据拥有者的密钥不同。

    一种网络结构的检测方法、装置、电子设备及存储介质

    公开(公告)号:CN110351106B

    公开(公告)日:2022-01-25

    申请号:CN201810288830.7

    申请日:2018-04-03

    Abstract: 本发明提供了一种网络结构的检测方法、装置、电子设备及存储介质,以及时发现待检测网络中的重要节点,通过重要节点确定网络结构。该方法包括:将待检测网络中的节点划分到不同的社区中,每个节点对应一个社区;根据节点与在其所在第一社区内其他节点之间连接的第一连接数量、节点的度以及划分得到的社区数量,计算得到表征节点角色的第一参数和第二参数;根据第一参数、第二参数以及预设的阈值范围,将节点的角色为设定角色的节点确定为重要节点;根据重要节点的角色,及重要节点之间连接的连接数量,计算相同角色或者不同角色的重要节点之间连接的Z‑score值;根据每个Z‑score值,确定当前待检测网络的网络结构。

Patent Agency Ranking