数据源的接口入库解析接入方法

    公开(公告)号:CN113111109A

    公开(公告)日:2021-07-13

    申请号:CN202110367990.2

    申请日:2021-04-06

    Abstract: 本发明公开了一种数据源的接口入库解析接入方法、装置、设备及存储介质,该方法包括获取待接入接口,构建设计器和执行器,以使设计器和执行器满足待接入接口的接口信息及接口透传方式;一方面,利用设计器,根据待接入数据配置接入信息和处理信息;另一方面,利用执行器,根据所述配置接入信息和处理信息对待接入接口进行数据读取、数据处理和数据写入。本发明所提供的方法采用了设计器与执行器分离,数据获取与数据入库分离,再加上Kafka消息中间件的方式进行实现。旨在解决现有技术中存在的在面临的业务场景较多,数据来源的方式种类均未知,数据接入时可能存在数据量反复变化等情况时,数据接入效率低依旧不能很好解决的技术问题。

    一种智能综合大数据融合处理平台

    公开(公告)号:CN113111103A

    公开(公告)日:2021-07-13

    申请号:CN202110366842.9

    申请日:2021-04-06

    Abstract: 本发明公开了一种智能综合大数据融合处理平台,包括数据管理体系和数据价值体系;所述数据管理体系包括:元数据管理模块,用于对元数据进行统一管理和存储;数据资源管理模块,用于对全域数据进行综合管理;数据服务管理模块,用于实现对外数据服务目录的展示及申请管理;数据质量审计模块,用于对系统数据进行数据质量检测;所述数据价值体系包括:数据接入模块,用于进行多种数据接入;数据共享模块,用于进行数据共享;数据处理模块,用于进行数据采集和处理。本发明通过构建大数据管理与治理相融合的一体化的智能大数据融合平台,满足智能化数据管理、智能化数据审计、可视化数据治理、高性能数据接入、可扩展数据交换共享的需求。

    一种基于困惑度的自动作文评分方法

    公开(公告)号:CN110826329A

    公开(公告)日:2020-02-21

    申请号:CN201911107155.4

    申请日:2019-11-13

    Abstract: 本发明公开了一种基于困惑度的自动作文评分方法,包括如下步骤:特征提取,提取作文的浅层词语特征和浅层句法特征;困惑度计算,计算作文的语法困惑度和语义困惑度;特征融合模型训练预测,根据特征信息与困惑度进行模型的训练和预测。本发明将作文的语法困惑度和语义困惑度作为评分的重要指标,提出了基于语法的困惑度的概念处理自动作文评分,更好地考虑了作文语法的正确性和词语搭配的合理性;同时提出了基于语义的困惑度的概念处理自动作文评分,从多个角度评价了作文的主题相关性。

    一种基于联合神经网络模型的图像内容描述自动生成方法

    公开(公告)号:CN110188775A

    公开(公告)日:2019-08-30

    申请号:CN201910453505.6

    申请日:2019-05-28

    Abstract: 本发明公开了一种基于联合神经网络模型的图像内容描述自动生成方法,包括构建联合神经网络、联合神经网络多层映射参数训练、图片及对应文本预处理和输入模型进行描述结果检测等四个步骤。本发明通过使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络构建联合神经网络;利用误差反向传播算法对神经网络多层映射参数进行训练;对图像进行预处理,利用卷积神经网络提取特征以及进行特征映射;输入模型进行描述结果检测,用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述,能够显著有效的提升的自动描述图片内容的效果。

    一种基于多源大数据分析的图像标注方法

    公开(公告)号:CN108897778A

    公开(公告)日:2018-11-27

    申请号:CN201810564329.9

    申请日:2018-06-04

    Inventor: 花福军

    Abstract: 本文公开了一种基于多源大数据分析的图像标注方法,包括图像多源数据采集、图像数据预处理、图像相似度分析、图像标注;所述图像多源数据采集是相似度分析是利用网络爬虫工具获取图像的相关多源信息;所述图像数据预处理是针对获取到的数据进行数据清洗和存储;所述图像相似度分析是对图像各个来源数据进行相应的相似度分析并且融合计算图像总相似度;所述图像标注是通过相似图像的标注词对图像进行标注。本发明是针对互联网图像的一种标注方法,能够解决目前互联网图像标注不充分的问题。

    基于聚类分析的交通标志检测方法及装置

    公开(公告)号:CN120014604A

    公开(公告)日:2025-05-16

    申请号:CN202510483080.9

    申请日:2025-04-17

    Abstract: 本发明提供了基于聚类分析的交通标志检测方法及装置,属于交通标志检测技术领域。方法先对多扰动交通标志数据集进行预处理,确定数据集的第一质心;然后基于数据集计算出不可连接数据集,并对第一质心进行排序,得到第二质心;利用不可连接数据集对数据集进行更新,得到第一数据集,并将其数据点拉向第二质心,基于第一数据集对数据平移后的数据进行更新、聚合和分离处理,得到第二数据集后进行数据聚类,并基于最优无监督轮廓系数的聚类结果对无标注的原始数据进行标注,得到标注后的多扰动交通标志数据集进行模型训练,采用训练好的交通标志检测模型对待识别交通标志进行识别,确定交通标志的类别。本发明可降低交通标志识别过程中的数据干扰。

    基于模型关键特征的自适应AIOps数据漂移检测方法

    公开(公告)号:CN119004284B

    公开(公告)日:2025-01-24

    申请号:CN202411498340.1

    申请日:2024-10-25

    Abstract: 本发明提供了基于模型关键特征的自适应AIOps数据漂移检测方法,属于智能运维技术领域。方法通过从原始特征中提取出重要特征,并分别计算出模型的训练数据和测试数据在重要特征上特征分布的相似性,根据相似性评估结果配置概念漂移检测器;对构建模型所使用的特征进行特征重要性评估,从评估结果中选出与模型性能相关的第三特征;构建故障预测AIOps模型,并设置基准模型退化指标和性能评估指标;基于基准模型退化指标和性能评估指标,监控模型训练和测试过程中的第三特征变化数量,同时通过概念漂移检测器检测识别模型的概念漂移并发出漂移警报。本发明通过实时监测数据特征的变化以及模型准确性的波动,可以及时发现AIOps模型的退化情况。

    一种基于机器学习运维的模型质量监控系统

    公开(公告)号:CN118839791A

    公开(公告)日:2024-10-25

    申请号:CN202411311756.8

    申请日:2024-09-20

    Abstract: 本发明提供了一种基于机器学习运维的模型质量监控系统,属于模型质量监控技术领域。系统主要包括数据收集模块、质量评估模块、实时监控模块、自动调整模块和数据验证模块。其中,数据收集模块收集模型预测过程中的模型参数;质量评估模块基于模型参数,通过评测工具对模型的模型性能进行评测,并根据评测结果生成性能评估报告;实时监控模块实时监控模型的运行状态和质量指标,并将运行状态和质量指标反馈至用户;自动调整模块在模型的质量指标低于预设调整阈值时,自动执行模型优化操作;数据验证模块通过统计检验算法对模型输入数据的分布进行数据漂移检测,并根据检测结果发送警报。本发明可以保证模型的持续高效运行,低模型运维成本。

Patent Agency Ranking