生成式模型的处理调度方法及装置

    公开(公告)号:CN117519943A

    公开(公告)日:2024-02-06

    申请号:CN202311646083.7

    申请日:2023-12-01

    Abstract: 本说明书实施例提供了生成式模型的处理调度方法及装置,其中,一种生成式模型的处理调度方法包括:获取到生成式模型的包含输入内容和处理指令的处理请求后,先根据输入内容和处理指令确定处理请求的预测生成长度,再根据处理请求的请求长度、预测生成长度和生成式模型的请求队列中各请求集的处理指标,在请求队列中确定请求集并将处理请求分发至该请求集,根据各请求集的等待时长、预测处理时长两个维度的时长信息,确定各请求集的调度顺序,以将各请求集调度至生成式模型。

    异常检测系统的更新方法及装置

    公开(公告)号:CN114139613A

    公开(公告)日:2022-03-04

    申请号:CN202111372050.9

    申请日:2021-11-18

    Abstract: 本说明书实施例提供一种异常检测系统的更新方法,所述异常检测系统中包括M个基础检测模型。该方法包括:获取多个历史序列以及从中选取出的N个典型序列,各个历史序列包括对应的按照时间顺序排列的L个指标值;将各个历史序列依次作为查询序列,并确定该查询序列针对N个典型序列的N个查询权重;针对N个典型序列中的各个典型序列,利用上述M个基础检测模型分别对其进行异常检测,得到M个检测结果,并对该M个检测结果进行融合,得到该典型序列对应的融合检测结果;利用N个查询权重,对N个典型序列对应的N个融合检测结果进行加权处理,得到查询序列对应的加权结果;基于该加权结果和查询序列对应的异常类别标签,更新上述异常检测系统。

    异常检测系统的更新方法及装置

    公开(公告)号:CN114139613B

    公开(公告)日:2024-11-08

    申请号:CN202111372050.9

    申请日:2021-11-18

    Abstract: 本说明书实施例提供一种异常检测系统的更新方法,所述异常检测系统中包括M个基础检测模型。该方法包括:获取多个历史序列以及从中选取出的N个典型序列,各个历史序列包括对应的按照时间顺序排列的L个指标值;将各个历史序列依次作为查询序列,并确定该查询序列针对N个典型序列的N个查询权重;针对N个典型序列中的各个典型序列,利用上述M个基础检测模型分别对其进行异常检测,得到M个检测结果,并对该M个检测结果进行融合,得到该典型序列对应的融合检测结果;利用N个查询权重,对N个典型序列对应的N个融合检测结果进行加权处理,得到查询序列对应的加权结果;基于该加权结果和查询序列对应的异常类别标签,更新上述异常检测系统。

    针对大模型的请求调度方法及装置

    公开(公告)号:CN118819771A

    公开(公告)日:2024-10-22

    申请号:CN202410797672.3

    申请日:2024-06-19

    Abstract: 本说明书实施例提供一种针对大模型的请求调度方法及装置,在调度方法中,从请求池获取针对大模型的请求序列,其中大模型配置为,单次处理的输出长度为预定长度S。根据预定长度S,确定请求序列中各子序列的预计处理时长。根据预计处理时长,将请求序列中的请求划分为多个批次。将多个批次的请求,分别批量调度至多个推理引擎,进行基于大模型的单次处理,并将处理未完成的请求更新后返回请求池。

    针对目标系统的异常检测方法和装置

    公开(公告)号:CN117195132A

    公开(公告)日:2023-12-08

    申请号:CN202311256134.5

    申请日:2023-09-26

    Abstract: 本说明书实施例提供一种针对目标系统的异常检测方法和装置,方法包括:获取目标系统的多项指标对应的多个时间序列;将多个时间序列分别输入神经网络模型,得到各项指标分别对应的第一指标嵌入向量;基于其确定第一相关性矩阵,并得到静态图;静态图中的连接边根据第一相关性矩阵确定;从每个时间序列中提取第一时间窗口内的各个时刻的指标数据,得到多个子序列;将多个子序列分别输入神经网络模型,得到各项指标分别对应的第二指标嵌入向量;基于其确定第二相关性矩阵,并得到动态图;动态图中的连接边根据第二相关性矩阵确定;基于静态图和动态图,对目标系统在第一时间窗口内是否发生异常作出检测结果。能够提升异常检测的性能。

    数据库处理方法及装置
    6.
    发明公开

    公开(公告)号:CN118312493A

    公开(公告)日:2024-07-09

    申请号:CN202410330136.2

    申请日:2024-03-21

    Abstract: 本说明书实施例提供了数据库处理方法及装置,其中,一种数据库处理方法包括:在对数据库进行参数调整的过程中,根据数据库的配置参数和性能指标,计算数据库的索引类型集中各索引类型的性能影响值,借助性能影响值对索引类型集进行更新处理获得更新索引类型集,结合数据库的配置参数和性能指标对更新索引类型集中特定索引类型对应的候选配置参数进行性能增长评估,根据获得的性能增长阈值在候选配置参数中确定中间配置参数,并计算数据库在中间配置参数下的查询性能指标,以此基于查询性能指标确定的目标配置参数进行数据查询。

    资源处理规则的处理方法及装置
    7.
    发明公开

    公开(公告)号:CN118227670A

    公开(公告)日:2024-06-21

    申请号:CN202410303512.9

    申请日:2024-03-15

    Abstract: 本说明书实施例提供了资源处理规则的处理方法及装置,其中,一种资源处理规则的处理方法包括:在进行资源处理规则的检测过程中,获取资源处理规则的核验条件,将核验条件转换为核验策略,对核验策略的策略元素进行参数配置获得参数配置组合,并筛选未处于预设参数列表中的候选配置组合,在历史数据池中查询与候选配置组合配置的策略元素匹配的历史数据,根据历史数据的数据确定候选配置组合中的异常配置组合,根据异常配置组合配置的策略元素生成异常核验条件,以进行资源处理规则的更新。

    大模型推理中的缓存优化方法及装置

    公开(公告)号:CN119847437A

    公开(公告)日:2025-04-18

    申请号:CN202411931981.1

    申请日:2024-12-25

    Abstract: 本说明书实施例提供一种大模型推理中的缓存优化方法,包括:在预填充阶段,针对大模型中的多个注意力层,逐层进行缓存操作,其中,针对任意第i层的缓存操作包括:获取第i层的目标注意力矩阵。分别根据目标注意力矩阵行数据和列数据的分布,确定第一指标值和第二指标值。根据第一指标值和第二指标值,确定第i层对应的第i偏好分数。根据第i偏好分数,确定在总缓存区中为第i层分配的目标缓存区域,并在其中存储输入文本中目标字符的注意力数据。根据第i偏好分数,更新在第i层之前的各个层的在先缓存区域,以及更新其中存储的字符的注意力数据。

    大模型推理引擎的参数调优方法及装置

    公开(公告)号:CN118940843A

    公开(公告)日:2024-11-12

    申请号:CN202411068588.4

    申请日:2024-08-05

    Abstract: 本说明书实施例披露一种大模型推理引擎的参数调优方法及装置,其中大模型推理引擎用于运行目标大模型以处理目标应用发起的推理请求。该方法包括:首先,获取多个观测样本,其中各观测样本包括一组配置参数,以及根据该组参数配置所述大模型推理引擎后,对所述目标应用的历史推理请求进行重放而确定的引擎性能指标;然后,利用所述多个观测样本初始化贝叶斯优化BO算法中的观测数据,以及,将所述BO算法中的目标函数定义为配置参数和引擎性能指标之间的映射关系,从而执行所述BO算法,得到使引擎性能指标发生优化的若干组配置参数。如此,可以实现利用BO算法适应不同上层应用关注的不同优化目标。

Patent Agency Ranking