一种数据质量校验规则提取方法及系统

    公开(公告)号:CN113987190B

    公开(公告)日:2023-02-28

    申请号:CN202111356033.6

    申请日:2021-11-16

    IPC分类号: G06F16/31 G06F16/35 G06F16/36

    摘要: 本发明公开了一种数据质量校验规则提取方法及系统,方法包括:扫描元数据,获取数据类型为文本型的字段,标记字段描述中含有取值范围信息的字段并存储取值范围信息;根据元数据信息,扫描文本型字段值,生成字段的值结构与每种值结构的取值占比;对字段生成的值结构类别进行评分,选出其中的可信类别;然后利用可信值结构类别和元数据信息生成字段取值质量校验规则;最后将校验规则入库,生成字段‑规则映射关系,从而实现了文本型数据质量校验规则的有效提取。与现有规则生成方法相比,本发明能大幅提高数据质量规则生成效率和准确度,减轻劳动力,具有更高的实用价值。

    一种异常检测模型训练方法、异常检测方法及装置

    公开(公告)号:CN115456067A

    公开(公告)日:2022-12-09

    申请号:CN202211083445.1

    申请日:2022-09-06

    IPC分类号: G06K9/62 G06N3/08

    摘要: 本发明提供了一种异常检测模型训练方法、异常检测方法及装置,其中,异常检测模型训练方法包括:获取初始训练集;将初始训练集中的样本分别输入不同的异常分类模型进行预测,并根据预测类别进行标签标记;基于各样本对应的预测类别和标签分别计算各样本的投票熵;对投票熵大于熵值阈值的样本进行目标标记;利用带有目标标记的样本对目标异常分类模型进行训练,得到训练好的目标异常分类模型。在最大化提高异常检测模型准确率的同时,大幅降低由于过度依赖特征工程或对异常模式的挖掘单一导致异常检测假阳性概率过高的情况发生。

    一种块稀疏化及负载的均衡方法、装置、设备及介质

    公开(公告)号:CN118733265A

    公开(公告)日:2024-10-01

    申请号:CN202410849661.5

    申请日:2024-06-27

    IPC分类号: G06F9/50 G06N3/063 G06N3/0495

    摘要: 本发明属于计算机技术领域,公开一种块稀疏化及负载的均衡方法、装置、设备及介质,所述方法包括:获取原始权重矩阵,所述原始权重矩阵包括多个权重系数;对获取的原始权重矩阵进行预处理获得预处理后权重矩阵;所述预处理后权重矩阵中对角线区域稠密度高于原始权重矩阵对角线区域稠密度;对预处理后权重矩阵进行划分,得到多个矩阵块,每个矩阵块对应分配一个众核系统的核心进行处理。本发明把一个全局均稀疏的矩阵,变为局部稠密其余系数的矩阵,在通过核心进行运算时,相对处理前的矩阵,实现更多在稠密计算上,从而提高计算效率。解决了通过众核系统进行脑仿真时,超大规模矩阵所带来的计算难度大以及负载不均匀的技术问题。

    基于判别性隐空间学习的跨模态检索方法、装置及介质

    公开(公告)号:CN116304135B

    公开(公告)日:2023-08-08

    申请号:CN202310594729.5

    申请日:2023-05-25

    摘要: 本发明公开了一种基于判别性隐空间学习的跨模态检索方法、装置及介质,该方法包括:提取第一模态数据的第一特征和第二模态数据的第二特征,构建第一训练集和第二训练集;采用第一训练集和第二训练集对增加判别性属性的双字典模型进行训练,得到隐空间特征模型;基于隐空间特征模型,将待检索模态数据特征和检索数据库中模态数据特征分别投影到隐空间中,得到对应的隐空间特征表示;根据隐空间特征表示进行相似度计算,得到检索结果。通过实施本发明,采用双字典学习技术来构建隐空间,使多模态数据在隐空间中实现对齐。在双字典模型中加入将判别性属性,从而使子类内距离更加紧凑而子类间距离更加稀疏。更加符合电网细粒度多模态场景设置。

    一种基于关联规则学习的图像检索方法、装置及存储介质

    公开(公告)号:CN116186318B

    公开(公告)日:2023-07-14

    申请号:CN202310446006.0

    申请日:2023-04-24

    IPC分类号: G06F16/583

    摘要: 本发明公开了一种基于关联规则学习的图像检索方法、装置及存储介质,通过获取待检索图像和检索数据库中图像;基于关联规则学习算法提取待检索图像和检索数据库中图像的局部相关性特征;对待检索图像和检索数据库中图像的局部相关性特征进行特征匹配,确定检索数据库中和待检索图像属于同一子类别的检索结果。由此,该图像检索方法通过关联规则学习算法,对图像内部的关联信息进行挖掘,加强了细粒度特征表示,从而能够增强不同子类间判别性和区分度。