一种基于图像识别的数据采集方法及系统

    公开(公告)号:CN115546792A

    公开(公告)日:2022-12-30

    申请号:CN202211298321.5

    申请日:2022-10-23

    Abstract: 本发明公开了一种基于图像识别的数据采集方法及系统,方法包括以下步骤:获取系统内部或系统外部的图像数据;对传输至系统中的图像数据进行监控;对输入至系统中的图像数据进行预处理;定位出输入图像中的文字区域并生成包含文字区域的文本框;将文本框矫正为矩形框,并进行文本方向判断和校正;从矫正后矩形框中的文字区域识别出图像中文字内容;将识别出的文本信息转化为结构化数据并进行存储。本发明实现了应用系统界面自动截图、自动捕捉新增图像文件、自动提取图像中文本信息并将文本信息写入数据库或接口,整个过程免除人为操作,实现大量图像信息自动化处理,大大提高了数据采集的工作效率,节约了各方面的人力物力财力。

    一种基于统一平台的主数据管理方法

    公开(公告)号:CN114691793A

    公开(公告)日:2022-07-01

    申请号:CN202210366646.6

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于统一平台的主数据管理方法,涉及数据管理方法技术领域。所述管理方法包括:数据接收模块:用于接收子系统现有产品的初始信息,包括产品的名称及产品的原始参数;编码模块:以特定的命名规则对所述产品的原始参数进行命名,形成产品的唯一编码,并输入到主系统中,每一个编码仅对应一个产品,产品的唯一编码与产品的原始参数之间可以通过特定的映射路径相互转化;解码模块:将产品的唯一编码按照映射路径转化为产品的原始参数,并输出到子系统中。该基于统一平台的主数据管理方法,子系统和主系统之间产品可以互相转码映射,便于统一统计信息、分配资源。

    一种基于HIVE的数据增量采集方法

    公开(公告)号:CN114647641A

    公开(公告)日:2022-06-21

    申请号:CN202210368943.4

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于HIVE的数据增量采集方法,涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时,只需要配置相关的采集任务和sql脚本任务,将sql脚本放入可执行带参数sql脚本的sql执行工具中,只暴露出表名,创建时间,更新时间,主键,原表可能会删除数据的时间段n,用户只需填入这几个关键信息进行sql执行任务配置,即可统一解决以上问题,保证数据的一致性;sql脚本处理流程复用性强,形式灵活,操作简单,将sql脚本放入执行工具,只需填入相关参数,即可进行各类治理,适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

    一种基于实时数据库的数据采集存储方法

    公开(公告)号:CN114547045A

    公开(公告)日:2022-05-27

    申请号:CN202210251897.X

    申请日:2022-03-15

    Abstract: 本发明公开了一种基于实时数据库的数据采集存储方法,涉及大数据采集与存储技术领域。包括:S1、启动杀毒软件,对数据库进行扫描,确认无任何流氓软件或病毒植入后,启动数据源实时数据库设备数据;S2、通过以restful接口方式的java项目,定时采集数据;S3、采集到接口数据后,分别存储到实时数据表,N小时数据表和历史数据表。该基于实时数据库的数据采集存储方法将实时采集数据与历史数据分离,用三张表分别存储实时数据、N小时数据、全量历史数据,展示实时数据用实时数据表,查看实时数据趋势用N小时数据表,查询历史数据用历史数据表,这时展示实时数据时页面反馈速度就会比之前显著变短。

    一种基于HIVE的数据增量采集方法

    公开(公告)号:CN114647641B

    公开(公告)日:2025-04-18

    申请号:CN202210368943.4

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于HIVE的数据增量采集方法,涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时,只需要配置相关的采集任务和sql脚本任务,将sql脚本放入可执行带参数sql脚本的sql执行工具中,只暴露出表名,创建时间,更新时间,主键,原表可能会删除数据的时间段n,用户只需填入这几个关键信息进行sql执行任务配置,即可统一解决以上问题,保证数据的一致性;sql脚本处理流程复用性强,形式灵活,操作简单,将sql脚本放入执行工具,只需填入相关参数,即可进行各类治理,适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

    一种钢厂多源环境数据融合的方法

    公开(公告)号:CN112231313A

    公开(公告)日:2021-01-15

    申请号:CN202011222199.4

    申请日:2020-11-05

    Abstract: 本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:S1:对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。本发明通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。

Patent Agency Ranking