-
公开(公告)号：CN118839791B
公开(公告)日：2024-12-17
申请号：CN202411311756.8
申请日：2024-09-20
Applicant: 创意信息技术股份有限公司
Abstract: 本发明提供了一种基于机器学习运维的模型质量监控系统，属于模型质量监控技术领域。系统主要包括数据收集模块、质量评估模块、实时监控模块、自动调整模块和数据验证模块。其中，数据收集模块收集模型预测过程中的模型参数；质量评估模块基于模型参数，通过评测工具对模型的模型性能进行评测，并根据评测结果生成性能评估报告；实时监控模块实时监控模型的运行状态和质量指标，并将运行状态和质量指标反馈至用户；自动调整模块在模型的质量指标低于预设调整阈值时，自动执行模型优化操作；数据验证模块通过统计检验算法对模型输入数据的分布进行数据漂移检测，并根据检测结果发送警报。本发明可以保证模型的持续高效运行，低模型运维成本。
-
Patent Agency Ranking
公开(公告)号：CN117743556B
公开(公告)日：2024-04-16
申请号：CN202410175322.3
申请日：2024-02-07
Applicant: 创意信息技术股份有限公司
IPC: G06F16/332 , G06F40/30 , G06F18/22 , G06F40/289
Abstract: 本发明提供了一种基于知识库的多轮问答意图识别方法及装置，属于意图识别技术领域。方法利用预设知识库文本的关键词集合与预处理后的问题文本进行相似度匹配，获得与问题文本相似的候选文本集合和对应的关键词集合；同时依据对候选文本集合进行第一分级阈值筛选和二级阈值分流，筛选出合适的文本输入预设大模型进行回答。在未能筛选到合适文本时，将问题文本与最近的历史问题文本结合，得到新的问题文本后，将其与候选文本集合输入预设大模型进行回答。本发明通过对多轮问答的问题意图进行识别，将历史问题中的重要信息识别出来与当前问题组合后在知识库中进行匹配，提高了用户输入意图匹配度，解决了多轮问答意图难以识别的问题。
-
公开(公告)号：CN117743556A
公开(公告)日：2024-03-22
申请号：CN202410175322.3
申请日：2024-02-07
Applicant: 创意信息技术股份有限公司
IPC: G06F16/332 , G06F40/30 , G06F18/22 , G06F40/289
Abstract: 本发明提供了一种基于知识库的多轮问答意图识别方法及装置，属于意图识别技术领域。方法利用预设知识库文本的关键词集合与预处理后的问题文本进行相似度匹配，获得与问题文本相似的候选文本集合和对应的关键词集合；同时依据对候选文本集合进行第一分级阈值筛选和二级阈值分流，筛选出合适的文本输入预设大模型进行回答。在未能筛选到合适文本时，将问题文本与最近的历史问题文本结合，得到新的问题文本后，将其与候选文本集合输入预设大模型进行回答。本发明通过对多轮问答的问题意图进行识别，将历史问题中的重要信息识别出来与当前问题组合后在知识库中进行匹配，提高了用户输入意图匹配度，解决了多轮问答意图难以识别的问题。
-
公开(公告)号：CN119004284A
公开(公告)日：2024-11-22
申请号：CN202411498340.1
申请日：2024-10-25
Applicant: 创意信息技术股份有限公司
IPC: G06F18/243 , G06F18/213 , G06F18/27 , G06F18/214
Abstract: 本发明提供了基于模型关键特征的自适应AIOps数据漂移检测方法，属于智能运维技术领域。方法通过从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上特征分布的相似性，根据相似性评估结果配置概念漂移检测器；对构建模型所使用的特征进行特征重要性评估，从评估结果中选出与模型性能相关的第三特征；构建故障预测AIOps模型，并设置基准模型退化指标和性能评估指标；基于基准模型退化指标和性能评估指标，监控模型训练和测试过程中的第三特征变化数量，同时通过概念漂移检测器检测识别模型的概念漂移并发出漂移警报。本发明通过实时监测数据特征的变化以及模型准确性的波动，可以及时发现AIOps模型的退化情况。
-
公开(公告)号：CN119004284B
公开(公告)日：2025-01-24
申请号：CN202411498340.1
申请日：2024-10-25
Applicant: 创意信息技术股份有限公司
IPC: G06F18/243 , G06F18/213 , G06F18/27 , G06F18/214
Abstract: 本发明提供了基于模型关键特征的自适应AIOps数据漂移检测方法，属于智能运维技术领域。方法通过从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上特征分布的相似性，根据相似性评估结果配置概念漂移检测器；对构建模型所使用的特征进行特征重要性评估，从评估结果中选出与模型性能相关的第三特征；构建故障预测AIOps模型，并设置基准模型退化指标和性能评估指标；基于基准模型退化指标和性能评估指标，监控模型训练和测试过程中的第三特征变化数量，同时通过概念漂移检测器检测识别模型的概念漂移并发出漂移警报。本发明通过实时监测数据特征的变化以及模型准确性的波动，可以及时发现AIOps模型的退化情况。
-
公开(公告)号：CN118839791A
公开(公告)日：2024-10-25
申请号：CN202411311756.8
申请日：2024-09-20
Applicant: 创意信息技术股份有限公司
Abstract: 本发明提供了一种基于机器学习运维的模型质量监控系统，属于模型质量监控技术领域。系统主要包括数据收集模块、质量评估模块、实时监控模块、自动调整模块和数据验证模块。其中，数据收集模块收集模型预测过程中的模型参数；质量评估模块基于模型参数，通过评测工具对模型的模型性能进行评测，并根据评测结果生成性能评估报告；实时监控模块实时监控模型的运行状态和质量指标，并将运行状态和质量指标反馈至用户；自动调整模块在模型的质量指标低于预设调整阈值时，自动执行模型优化操作；数据验证模块通过统计检验算法对模型输入数据的分布进行数据漂移检测，并根据检测结果发送警报。本发明可以保证模型的持续高效运行，低模型运维成本。
-
-
-
-
-
Search Results
6
records
(took 0.02 seconds)
