一种分片状态文件损坏的分片修复方法、装置、设备及介质

    公开(公告)号:CN119201861A

    公开(公告)日:2024-12-27

    申请号:CN202411426281.7

    申请日:2024-10-12

    Abstract: 本申请公开了一种分片状态文件损坏的分片修复方法、装置、设备及介质,涉及数据存储技术领域,包括:基于预设分片查找命令查找分片状态文件损坏的目标分片,并确定目标分片对应的关联信息;根据关联信息确定目标分片所在的目标Elasticsearch节点,并利用目标Elasticsearch节点对应的节点主机关停目标Elasticsearch节点;在目标Elasticsearch节点关停后将预设分片修复工具包上传至节点主机,以便节点主机利用预设分片修复工具包修复目标Elasticsearch节点对应的目标分片。本申请解决了分片状态文件损坏的分片无法修复的问题,从而降低了数据丢失的风险。

    一种系统慢查询分析方法、装置、介质

    公开(公告)号:CN115329049A

    公开(公告)日:2022-11-11

    申请号:CN202211128465.6

    申请日:2022-09-16

    Inventor: 杨梦龙 汤乐奇

    Abstract: 本申请涉及ElasticSearch系统维护领域,公开了一种系统慢查询分析方法、装置、介质,包括:获取模型库中目标模型,以便于根据目标模型对慢查询任务进行分析,其中,模型库为用于存储超时查询任务所对应的超时模型的数据库。根据各目标模型的查询条件和数据量、与各目标模型所对应的查询任务样例对目标模型进行分析,并获取模型评分,以排除由于计算资源被抢占导致超时的查询任务。对模型评分高于阈值的目标模型进行分析,以确定查询任务的超时原因。本申请通过对模型库中超时查询任务的模型进行分析和评分,以去除数据库中误判的模型,以便于根据实际超时查询任务对系统进行分析和改进。

    基于Hadoop分析平台的自适应限速方法、装置、设备及介质

    公开(公告)号:CN115061898B

    公开(公告)日:2022-11-08

    申请号:CN202210984130.8

    申请日:2022-08-17

    Inventor: 王玉叶 杨梦龙

    Abstract: 本申请公开了一种基于Hadoop分析平台的自适应限速方法、装置、设备及介质,涉及数据分析技术领域,该方法包括:对Hadoop分析平台进行性能测试并将测试结果标准化为配置格式,以将配置格式内置于Hadoop分析平台的数据库;基于第一预设时间间隔定时获取Hadoop分析平台的实际参数并与配置格式进行匹配,以得到匹配后的生效配置;基于第二预设时间间隔定时检测Hadoop分析平台上运行的数据信息,并判断数据信息是否超过生效配置;若数据信息超过生效配置,则通过第一预设接口设置限速器,并根据数据信息设置限速器参数,以便将限速器参数与配置格式进行匹配进行自适应限速。通过本申请的技术方案,可以基于Hadoop分析平台进行自适应限速,应用性强。

    一种性能评估方法、装置、设备及存储介质

    公开(公告)号:CN115525525A

    公开(公告)日:2022-12-27

    申请号:CN202211286916.9

    申请日:2022-10-20

    Inventor: 刘瞳 杨梦龙

    Abstract: 本申请公开了一种性能评估方法、装置、设备及存储介质,涉及计算机技术领域,包括:确定当前评估对象的类型;其中,类型包括模型类型和指标类型;基于当前评估对象的类型确定与评估对象对应的预设评估标准;预设评估标准包括单位时间内当前评估对象的计算总耗时、单位时间内产生的keyby维度数量中的任意一种或两种的组合;实时监控当前评估对象与预设评估标准对应的实时性能以确定当前评估对象的性能损耗。本申请评估对象为相应模型或者指标时,与模型或指标对应的预设评估标准为单位时间内模型或指标的计算总耗时、单位时间内产生的keyby维度数据量中的任意一种或两种组合,从而能够定量的评估所述模型与所述指标,提高用户的使用体验。

    一种索引段合并方法及设备

    公开(公告)号:CN113761295B

    公开(公告)日:2024-02-27

    申请号:CN202111106356.X

    申请日:2021-09-22

    Inventor: 杨梦龙 范渊 刘博

    Abstract: 本发明公开了一种索引段合并方法及设备,通过分析历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数,然后根据预测数据的存储参数检测出数据存储低谷期和/或数据存储高峰期,实现在数据存储量不规律的情形下,准确的确定数据存储低谷期和/或数据存储高峰期,以便后续在数据存储低谷期和/或数据存储高峰期按照预设索引段合并策略进行索引段合并,能够在不影响数据存储的基础上,提高索引段合并的可靠性和效率,降低内存消耗,提升查询效率。

    基于Flink引擎的策略更新方法、装置、设备及介质

    公开(公告)号:CN117171180A

    公开(公告)日:2023-12-05

    申请号:CN202311227780.9

    申请日:2023-09-21

    Inventor: 王玉叶 杨梦龙

    Abstract: 本申请公开了基于Flink引擎的策略更新方法、装置、设备及介质,包括:当目标平台发生策略更新操作,则将所述策略更新操作对应的更新策略写入数据库;基于预设周期定时向Zookeeper发送策略更新消息,以便Zookeeper在接收到所述策略更新消息后,通知缓存器从所述数据库拉取目标类型的策略至缓存;所述目标类型为所述更新策略的策略类型;从所述缓存中读取所述目标类型的策略,并将所述目标类型的策略部署至所述目标类型的策略所对应的流计算任务。这样,能够避免手动或程序重启流计算任务,从而提升流处理的实时性。

    一种分片数动态调整方法、装置、设备及介质

    公开(公告)号:CN115658689A

    公开(公告)日:2023-01-31

    申请号:CN202211295635.X

    申请日:2022-10-21

    Inventor: 魏燕子 杨梦龙

    Abstract: 本申请公开了一种分片数动态调整方法、装置、设备及介质,涉及计算机技术领域,该方法包括:每天定时检测历史数据量;基于历史数据量确定出满足预设条件的目标索引,并确定按天划分的目标索引对应的目标天数;根据不同目标天数选择直接将节点数设置为目标分片数,或,选择基于不同目标天数获取不同天数的目标数据量,并基于目标数据量计算预期分片数,然后根据预期分片数与节点数的数量关系设置目标分片数。由此可见,本申请按天分索引减少数据量,并根据目标索引的目标天数和目标数据量实时调整分片数,以达到确定合理分片数以进行合理分片的目的。

    基于Hadoop分析平台的自适应限速方法、装置、设备及介质

    公开(公告)号:CN115061898A

    公开(公告)日:2022-09-16

    申请号:CN202210984130.8

    申请日:2022-08-17

    Inventor: 王玉叶 杨梦龙

    Abstract: 本申请公开了一种基于Hadoop分析平台的自适应限速方法、装置、设备及介质,涉及数据分析技术领域,该方法包括:对Hadoop分析平台进行性能测试并将测试结果标准化为配置格式,以将配置格式内置于Hadoop分析平台的数据库;基于第一预设时间间隔定时获取Hadoop分析平台的实际参数并与配置格式进行匹配,以得到匹配后的生效配置;基于第二预设时间间隔定时检测Hadoop分析平台上运行的数据信息,并判断数据信息是否超过生效配置;若数据信息超过生效配置,则通过第一预设接口设置限速器,并根据数据信息设置限速器参数,以便将限速器参数与配置格式进行匹配进行自适应限速。通过本申请的技术方案,可以基于Hadoop分析平台进行自适应限速,应用性强。

    一种索引段合并方法及设备

    公开(公告)号:CN113761295A

    公开(公告)日:2021-12-07

    申请号:CN202111106356.X

    申请日:2021-09-22

    Inventor: 杨梦龙 范渊 刘博

    Abstract: 本发明公开了一种索引段合并方法及设备,通过分析历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数,然后根据预测数据的存储参数检测出数据存储低谷期和/或数据存储高峰期,实现在数据存储量不规律的情形下,准确的确定数据存储低谷期和/或数据存储高峰期,以便后续在数据存储低谷期和/或数据存储高峰期按照预设索引段合并策略进行索引段合并,能够在不影响数据存储的基础上,提高索引段合并的可靠性和效率,降低内存消耗,提升查询效率。

Patent Agency Ranking