大数据集群部署方法、设备及存储介质

    公开(公告)号:CN119025263A

    公开(公告)日:2024-11-26

    申请号:CN202410996822.3

    申请日:2024-07-24

    Abstract: 本公开提供一种大数据集群部署方法、设备及存储介质,该方法包括读取大数据集群各节点上组件的时序监控数据,将时序监控数据输入时序预测大模型和一个以上不同架构的小模型,采用交互式自省差异学习算法进行模型训练,获取训练好的大模型和小模型;将待部署组件的时序监控数据分别输入训练好的大模型和小模型中处理获取对应的预测结果,并通过协同信任投票算法将训练好的大模型和小模型对应的预测结果进行融合,得到融合后的预测结果;基于融合后的预测结果确定从数据集群各节点中确定最优节点,在最优节点上部署待部署组件,无需人工读取监控数据进行判断,提升了部署效率和资源利用率。

    一种数据合并方法、装置、设备、介质及程序产品

    公开(公告)号:CN119621784A

    公开(公告)日:2025-03-14

    申请号:CN202411806645.4

    申请日:2024-12-10

    Abstract: 本发明提供一种数据合并方法、装置、设备、介质及程序产品,涉及数据库技术领域。该方法包括:获取同一分区的每个待合并数据文件的位置符号信息,分区包括多个键,每个待合并数据文件包括分区中的至少一个键,且同一个待合并数据文件中的键对应的时间版本相同,位置符号信息用于指示每个待合并数据文件中的每个键相对分区起始键的偏移量;根据多个待合并数据文件的多个位置符号信息,获取分区中的每个键对应的最新时间版本的目标待合并数据文件;根据分区中的每个键对应的最新时间版本的目标待合并数据文件,对多个待合并数据文件进行合并,生成合并后的数据文件。本发明的方案,提高合并效率以及降低内存占用。

    一种数据存储和查询方法、装置及电子设备

    公开(公告)号:CN119690972A

    公开(公告)日:2025-03-25

    申请号:CN202411858776.7

    申请日:2024-12-17

    Abstract: 本申请提供一种数据存储和查询方法、装置及电子设备,涉及云计算技术领域,其中,数据存储方法包括:获取待存储的键值数据;将所述键值数据的键进行哈希散列计算得到键的哈希值,所述哈希值包括所述键值数据在目标存储空间中的至少两个索引层级中的位置信息,其中,所述至少两个索引层级包括第一索引层级和第二索引层级,所述第二索引层级为所述第一索引层级的下一级索引层级;根据所述键的哈希值,将所述键值数据存储至所述第一索引层级中的所述第二索引层级对应的目标位置。本申请实施例,利用键的哈希散列值存储键值数据,这样,在查询键值数据时,可以根据键的哈希值定位键值数据在各个索引层级中的位置,能够提高键值的查询效率。

    文件处理方法、装置及电子设备
    7.
    发明公开

    公开(公告)号:CN119645944A

    公开(公告)日:2025-03-18

    申请号:CN202411836043.3

    申请日:2024-12-13

    Abstract: 本公开涉及一种文件处理方法、装置及电子设备,涉及云计算技术领域,其中方法包括:获取数据文件集;依次确定数据文件集中每个文件的第一数据内聚值,第一数据内聚值用于衡量每个文件内部键的内聚程度;依据第一数据内聚值确定第一目标文件之间的第二数据内聚值,第一目标文件为从数据文件集中挑选的文件,第二数据内聚值用于衡量第一目标文件之间键的重合程度;根据第二数据内聚值,选择第二目标文件作为待压实文件,第二目标文件为从第一目标文件中挑选的文件,通过本公开方案,可以准确识别出数据文件集中最需要被压实的待压实文件,提高查询效率。

    数据处理方法、装置、存储介质及电子设备

    公开(公告)号:CN119848041A

    公开(公告)日:2025-04-18

    申请号:CN202411887502.0

    申请日:2024-12-20

    Abstract: 本申请公开了一种数据处理方法、装置、存储介质及电子设备,涉及数据处理技术领域,首先响应于数据处理指令,获取数据的操作请求对应的增量数据;然后将增量数据存储到增量缓存数据库中;当增量缓存数据库中增量数据的数据量达到预设阈值时,将增量缓存数据库中的增量数据刷写到列存数据库中,并与列存数据库中的存量数据进行合并,再将增量缓存数据库中的增量数据转移到查询缓存数据库中。与目前现有技术相比,本申请通过缓存数据库和列存数据库对数据处理操作产生的增量数据进行同步存储,既利用缓存数据库提供行存储快速读写的性能,又能发挥列存数据库的优势,提高了数据处理效率,保证了业务数据和分析数据的实时一致性。

    数据写入方法、装置及计算设备
    9.
    发明公开

    公开(公告)号:CN116263758A

    公开(公告)日:2023-06-16

    申请号:CN202211455826.8

    申请日:2022-11-21

    Inventor: 陈海峰 范云博

    Abstract: 本发明公开了一种数据写入方法、装置及计算设备,该方法包括:监测存储系统中待追踪目录的文件更新事件;根据文件更新事件对应的更新目标文件的文件信息,更新目标内存中的信息;删除存储系统中已存储的待追踪目录对应的目录追踪文件;根据目标内存中的信息,生成待追踪目录对应的更新的目录追踪文件并上传至存储系统;当监测到对待追踪目录的管理需求时,从存储系统中读取待追踪目录对应的目录追踪文件,根据读取的目录追踪文件清理待追踪目录下的无效文件数据。通过上述方式,能够提升数据写入存储系统的性能,还能够避免无效数据的产生。

Patent Agency Ranking