一种大数据组件的访问方法、装置、系统及电子设备

    公开(公告)号:CN111917732A

    公开(公告)日:2020-11-10

    申请号:CN202010664930.2

    申请日:2020-07-10

    Inventor: 何永健

    Abstract: 本申请提供一种大数据组件的访问方法、装置、系统及电子设备,包括:客户端在首次访问一个大数据组件时,需要通过安全认证服务器的安全认证来获取授权票据。然后客户端基于该授权票据可以从票据授权服务器获取该待访问的大数据组件的服务票据,并基于服务票据访问该大数据组件。在客户端访问另一个大数据组件时,由于该客户端已经拥有授权票据,所以不再需要进行安全认证,可以直接基于授权票据获取另一个大数据组件的服务票据,基于另一个大数据组件的服务票据来访问另一个大数据组件。由此实现了只需一次安全认证,就可以实现多个大数据组件的访问,所以提高了在访问多个大数据组件时的安全认证效率。

    数据存储方法及装置、数据处理系统

    公开(公告)号:CN110798492A

    公开(公告)日:2020-02-14

    申请号:CN201810872737.0

    申请日:2018-08-02

    Abstract: 本申请公开了一种数据存储方法及装置、数据处理系统,属于存储技术领域。该方法包括:确定用于存储待存储数据的目标存储分片;获取所述目标存储分片的可用状态信息,所述可用状态信息用于指示存储分片是否可用;当所述可用状态信息指示所述目标存储分片不可用时,将所述待存储数据存储在其他可用的存储分片中。本发明提高了存储数据的稳定性。本发明用于存储数据。

    数据库表的区域切分方法、装置及存储介质

    公开(公告)号:CN111104569B

    公开(公告)日:2023-10-20

    申请号:CN201811253560.2

    申请日:2018-10-25

    Abstract: 本发明公开了一种数据库表的区域切分方法、装置及存储介质,属于数据库技术领域。该方法包括:确定数据库表在第一时间周期内的第一数据量和在第二时间周期内的第二数据量,第一时间周期和第二时间周期在待存储数据对应的目标时间周期之前;调用目标网络模型,将第一数据量和第二数据量输入至目标网络模型中,输出目标时间周期内的第三数据量,目标网络模型用于基于上一时间周期和当前时间周期内的数据量对下一时间周期的数据量进行预测;基于目标时间周期内的第三数据量,确定目标区域个数,基于目标区域个数对数据库表中用于存储待存储数据的区域进行切分。本发明可以避免出现由于数据分布不均匀导致需要数据迁移的问题,提高了数据存储性能。

    一种存储数据的方法及装置

    公开(公告)号:CN110765125B

    公开(公告)日:2022-09-20

    申请号:CN201810828663.0

    申请日:2018-07-25

    Inventor: 何永健

    Abstract: 本申请是关于一种存储数据的方法及装置,属于数据检索领域。所述方法包括:接收终端发送的存储请求,所述存储请求包括待存储数据和写入索引别名,所述写入索引别名与目标时间段相对应,所述目标时间段包括多个单位时间段;获取与所述写入索引别名相对应的第一空间名称,所述第一空间名称是当前时间所在的第一单位时间段对应的第一活跃索引空间的空间名称,所述第一单位时间段位于所述目标时间段内;将所述待存储数据存储在所述第一空间名称对应的第一活跃索引空间中。本申请能够避免出现存储错误的情况发生。

    一种存储数据的方法及装置

    公开(公告)号:CN110765125A

    公开(公告)日:2020-02-07

    申请号:CN201810828663.0

    申请日:2018-07-25

    Inventor: 何永健

    Abstract: 本申请是关于一种存储数据的方法及装置,属于数据检索领域。所述方法包括:接收终端发送的存储请求,所述存储请求包括待存储数据和写入索引别名,所述写入索引别名与目标时间段相对应,所述目标时间段包括多个单位时间段;获取与所述写入索引别名相对应的第一空间名称,所述第一空间名称是当前时间所在的第一单位时间段对应的第一活跃索引空间的空间名称,所述第一单位时间段位于所述目标时间段内;将所述待存储数据存储在所述第一空间名称对应的第一活跃索引空间中。本申请能够避免出现存储错误的情况发生。

    一种大数据组件的访问方法、装置、系统及电子设备

    公开(公告)号:CN111917732B

    公开(公告)日:2022-04-26

    申请号:CN202010664930.2

    申请日:2020-07-10

    Inventor: 何永健

    Abstract: 本申请提供一种大数据组件的访问方法、装置、系统及电子设备,包括:客户端在首次访问一个大数据组件时,需要通过安全认证服务器的安全认证来获取授权票据。然后客户端基于该授权票据可以从票据授权服务器获取该待访问的大数据组件的服务票据,并基于服务票据访问该大数据组件。在客户端访问另一个大数据组件时,由于该客户端已经拥有授权票据,所以不再需要进行安全认证,可以直接基于授权票据获取另一个大数据组件的服务票据,基于另一个大数据组件的服务票据来访问另一个大数据组件。由此实现了只需一次安全认证,就可以实现多个大数据组件的访问,所以提高了在访问多个大数据组件时的安全认证效率。

    数据库表的区域切分方法、装置及存储介质

    公开(公告)号:CN111104569A

    公开(公告)日:2020-05-05

    申请号:CN201811253560.2

    申请日:2018-10-25

    Abstract: 本发明公开了一种数据库表的区域切分方法、装置及存储介质,属于数据库技术领域。该方法包括:确定数据库表在第一时间周期内的第一数据量和在第二时间周期内的第二数据量,第一时间周期和第二时间周期在待存储数据对应的目标时间周期之前;调用目标网络模型,将第一数据量和第二数据量输入至目标网络模型中,输出目标时间周期内的第三数据量,目标网络模型用于基于上一时间周期和当前时间周期内的数据量对下一时间周期的数据量进行预测;基于目标时间周期内的第三数据量,确定目标区域个数,基于目标区域个数对数据库表中用于存储待存储数据的区域进行切分。本发明可以避免出现由于数据分布不均匀导致需要数据迁移的问题,提高了数据存储性能。

    数据修复方法、装置及设备、存储介质

    公开(公告)号:CN112905368A

    公开(公告)日:2021-06-04

    申请号:CN201911133194.1

    申请日:2019-11-19

    Abstract: 本发明提供一种数据修复方法、装置及设备、存储介质,保证两个分布式存储引擎中数据分布的一致性。该方法包括:分别统计第一分布式存储引擎在第一时间段的第一数据分布信息以及第二分布式存储引擎在第一时间段内的第二数据分布信息;比较第一数据分布信息与第二数据分布信息是否满足一致性要求,如果否,获取第一日志和第二日志,第一日志用于记录针对第一分布式存储引擎执行的操作事件及操作时间,第二日志用于记录针对第二分布式存储引擎执行的操作事件及操作时间;依据第一日志和第二日志中操作时间处于第一时间段的操作事件执行数据修复操作,以使第一分布式存储引擎和第二分布式存储引擎在第一时间段的数据分布信息满足一致性要求。

    数据采集方法、装置、存储介质及系统

    公开(公告)号:CN111078488B

    公开(公告)日:2021-11-09

    申请号:CN201811215823.0

    申请日:2018-10-18

    Abstract: 本发明公开了一种数据采集方法、装置、存储介质及系统,属于大数据技术领域。该方法应用于分布式数据采集系统的指定处理节点中,该方法包括:从多个采集节点的至少一个采集节点中获取采集到的数据集;通过异常检测模型对该数据集进行异常检测,确定该数据集中的异常数据;将该异常数据存储至该多个存储节点中的第一存储节点,该第一存储节点用于存储检测出的异常数据。本发明是根据采集的数据集进行训练得到的异常检测模型,能够反映出区分正常数据和异常数据的规律,学习到正常数据与异常数据之间的区分标准。通过异常检测模型对数据集进行异常检测,能够使得检测结果更加符合真实的异常数据,提高异常检测的准确率。

Patent Agency Ranking