-
公开(公告)号:CN119322780A
公开(公告)日:2025-01-17
申请号:CN202411524595.0
申请日:2024-10-29
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F16/22 , G06F16/2458 , G06F16/27 , G06F16/21
Abstract: 本申请公开了一种数据时序关联方法、装置、设备及存储介质,应用于Flink分布式实时处理引擎,涉及大数据技术领域,包括:提取目标关联条件,并生成目标数据相应的目标键;基于目标键对目标数据分组,并将分组后的目标数据分别存储至目标节点中;同一目标节点中存储的目标数据具有相同的事件类型以及关联字段数据;当获取到待匹配数据,则基于事件类型和关联字段数据将待匹配数据与任一目标节点中的目标数据进行匹配,并确定是否将待匹配数据与任一目标节点中的目标数据进行关联。本申请通过将相同事件类型和关联字段数据对应的目标数据存储在相同的目标节点,在新数据进入时,仅需判断相同关联字段一次,从而提高了时序关联的计算效率。
-
公开(公告)号:CN115495050A
公开(公告)日:2022-12-20
申请号:CN202211156960.8
申请日:2022-09-22
Applicant: 杭州安恒信息技术股份有限公司
Abstract: 本申请公开了一种任务处理方法、装置、设备及可读存储介质,该方法包括:载入并解析待创建flink数据流链对应的yaml配置文件,得到数据流向图和算子节点列表;利用数据流向图,初始化初始节点和各个算子节点;按照算子节点列表和/或数据流向图中对应的连接方式,连接初始节点和各个算子节点,得到flink数据流链;启动flink数据流链,并利用flink数据流链执行实时流任务。本申请能够使得开发人员方便地对数据流走向、运行配置进行调整,提升了代码的可维护性,提高开发效率。
-
公开(公告)号:CN117313076A
公开(公告)日:2023-12-29
申请号:CN202311458980.5
申请日:2023-11-02
Applicant: 杭州安恒信息技术股份有限公司
Abstract: 本申请公开了一种软件验证方法、装置、设备及存储介质,涉及计算机技术领域。该方法包括:根据获取的产品软件包按照预设算法生成对应的产品码,并生成所述产品软件包对应的验证码;定期查看所述产品软件包的状态,并根据预先定义的状态与验证码映射关系更新所述产品软件包对应的验证码;将所述验证码发送给客户端,以便所述客户端在离线状态下根据所述验证码进行产品软件包安装前的验证操作。当产品状态发生变化时在服务端设置相应的验证码,在客户端产品版本安装时通过到服务端获取验证码作为校验码来完成本次产品的安装部署,无需对产品软件包进行在线产品版本验证和版本控制,以此来实现离线环境下软件产品版本的校验和控制。
-
公开(公告)号:CN117149855A
公开(公告)日:2023-12-01
申请号:CN202311163590.5
申请日:2023-09-11
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F16/2458 , G06F17/18
Abstract: 本申请公开了一种基于微批处理的实时统计方法、装置、设备及存储介质,涉及数据统计领域,包括:对接收的待处理数据进行解析,并对解析后数据进行过滤,以得到处理后数据;将处理后数据划分为若干部分处理后数据,并输入至若干预设并发统计算子,以通过所述若干预设并发统计算子对输入至自身的数据进行数据统计,得到临时统计结果;确定临时统计结果对应的若干指标标识,以通过若干指标标识对临时统计结果进行分组利用预设汇总统计算子对分组后临时统计结果进行汇总统计,以输出与分组后临时统计结果相对应的目标统计结果。这样一来,可以通过不同的并发统计算子优化统计类指标的计算能力,以支持较多不同维度、不同时间窗口下的同时统计计算。
-
公开(公告)号:CN116049663A
公开(公告)日:2023-05-02
申请号:CN202211445648.0
申请日:2022-11-18
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F18/214 , G06F11/34
Abstract: 本申请涉及一种数据分析模型训练方法、装置、计算机设备和存储介质。所述方法包括:根据目标场景的告警数据调试初始分析模型,得到第一分析模型;将所述第一分析模型部署至虚拟环境中;在所述虚拟环境中对所述第一分析模型进行测试;基于测试结果得到目标分析模型。采用本方法能够提高数据分析模型匹配数据的精准度,同时在虚拟环境中进行的工作不会影响破坏真实环境,也不需要在真实环境和虚拟环境中反复调试,大大减少工作量和人力成本。
-
公开(公告)号:CN115567419A
公开(公告)日:2023-01-03
申请号:CN202211182315.3
申请日:2022-09-27
Applicant: 杭州安恒信息技术股份有限公司
IPC: H04L43/0811 , H04L41/0677 , H04L67/10
Abstract: 本申请公开了一种kafka集群的健康状态检测方法、系统、装置及介质,涉及数据处理领域。该方案中,每隔预设时间段获取待检测的kafka集群的环境信息,以确定kafka集群的配置节点数量;通过zookeeper集群获取待检测的kafka集群中的当前节点数量;通过判断配置节点数量与当前节点数量是否相同,以确定是否存在处于掉线状态的节点;若存在,则分别对所有节点进行检测,以定位处于掉线状态的节点。可见,本申请中可以自动实现对kafka集群的故障检测和定位,无需人工手动干预,缩短了检测时长,避免由于人工导致的出错率高。
-
公开(公告)号:CN112463533A
公开(公告)日:2021-03-09
申请号:CN202011341105.5
申请日:2020-11-25
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F11/30
Abstract: 本申请涉及一种日志数据解析方法、装置、电子装置和存储介质,该方法包括:获取待解析的日志数据,并对待解析的日志数据进行预处理,得到第一日志数据,其中,预处理至少包括结构化处理;根据预设提取规则从第一日志数据中提取目标日志数据,并根据提取目标日志数据的提取结果,确定预设管道工作流的解析数据源,其中,解析数据源包括目标日志数据和第一日志数据其中之一;在预设管道工作流中按照预设解析规则对解析数据源进行解析,得到解析结果。通过本申请,解决了相关技术中日志数据的解析过程复杂的问题,实现了简化日志数据的解析过程的技术效果。
-
公开(公告)号:CN119376881A
公开(公告)日:2025-01-28
申请号:CN202411414299.5
申请日:2024-10-10
Applicant: 杭州安恒信息技术股份有限公司
Abstract: 本申请涉及计算机软件应用的技术领域,尤其是涉及一种基于分阶段事件驱动架构的事件处理方法、装置、设备及介质。方法包括:采用分阶段事件驱动架构,其按照应用业务逻辑划分的多个相互之间成顺序的模块,每个阶段具有独立的线程池处理相应的任务,并且在模块处理事件的过程中,监控事件队列的长度是否超过限值,在发现超过限值后,立即触发负载调节机制进行负载调控,同时若事件队列的长度持续增长,且超过目标模块对应的事件队列的长度阈值时,则丢弃事件队列中的事件的优先级低于预设优先级阈值的事件,利用SEDA架构通过多层次的负载调节机制来保证系统在高并发条件下的稳定性,并且在一定程度上可以提高事件的处理效率。
-
-
-
-
-
-
-