公开(公告)号：CN109241156A

公开(公告)日：2019-01-18

申请号：CN201810858230.X

申请日：2018-07-31

申请人： 安徽四创电子股份有限公司

发明人： 金文林 ,  范联伟 ,  余保华 ,  徐圣吉 ,  展昭 ,  张金国 ,  陈钊 ,  邓惠元 ,  张国林 ,  胡刚 ,  潘兆轩 ,  李伟 ,  李鑫 ,  孙海龙 ,  吴振耀

IPC分类号： G06F16/25 ,  G06F16/83

摘要： 本发明涉及基于ETL工具从关系型数据库向非关系型数据库更新的方法，包括如下步骤：通过ETL工具的采集器采集各平台的源数据，进而得到目标数据；将采集到的目标数据存储进关系数据库中；从关系型数据库中提取目标数据作为待处理数据，将待处理数据作为格式为二进制Avro数据的中间态数据；将二进制Avro数据格式的待处理数据转化为JSON格式的待处理数据；将得到的JSON格式的待处理数据，通过FlowFile流数据的形式暂存在本地磁盘，得到暂存的待处理数据；通过ETL工具将暂存的待处理数据存储进非关系型数据库。本发明的方法可配置性高、过程可控性强，能够准确定位错误发生的环节，节省了查找错误的时间。

公开(公告)号：CN108874313B

公开(公告)日：2021-11-23

申请号：CN201810548955.9

申请日：2018-05-31

申请人： 安徽四创电子股份有限公司

发明人： 胡刚 ,  范联伟 ,  余保华 ,  徐圣吉 ,  张金国 ,  展昭 ,  李鑫 ,  邓惠元 ,  张国林 ,  金文林 ,  徐剑 ,  刘春珲 ,  胡斌 ,  谢伟 ,  赵树林 ,  王梦园 ,  杨培韬

IPC分类号： G06F3/06

摘要： 本发明涉及一种基于数据流的大数据增量抽取的数据交换平台，包括以下部分：网络服务器模块，为增量处理器模块和大数据存储模块提供执行环境，并用于托管大数据存储模块中的数据流的基于HTTP的命令和控制API；增量处理器模块，获取网络服务器模块提供的执行环境，将缓存队列存储在大数据存储模块中；大数据存储模块，获取网络服务器模块提供的执行环境，用于存储增量处理器模块的缓存队列；所述网络服务器模块的输出端连接增量处理器模块的输入端，增量处理器模块与大数据存储模块之间双向通信连接，网络服务器模块与大数据存储模块之间双向通信连接。本发明的数据变换平台对增量数据易于管理，使用方便，具有灵活缩放和可扩展的优点。

公开(公告)号：CN110727722A

公开(公告)日：2020-01-24

申请号：CN201910812960.0

申请日：2019-08-30

申请人： 安徽四创电子股份有限公司

发明人： 王家勇 ,  吴磊 ,  胡斌 ,  李鑫 ,  郭强 ,  张国林 ,  宋小亮

IPC分类号： G06F16/25 ,  G06F11/10 ,  G06F16/22 ,  G06F16/2453

摘要： 本发明涉及一种海量并发性雷达数据存储方法，包括如下步骤：将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信；由雷达设备前端处采集并获取到海量并发性雷达数据；通过服务端Netty数据接收服务将采集到的海量并发性雷达数据推送至Kafka的消息队列中；通过数据采集和抽取方法获取到所述Kafka的消息队列中的海量并发性雷达数据，并将海量并发性雷达数据转存到ElasticSearch的数据库中。本发明能够将海量的并发性雷达数据连续的存储至数据库，提高了对海量的并发性雷达数据的处理能力。

公开(公告)号：CN109299068A

公开(公告)日：2019-02-01

申请号：CN201811012560.3

申请日：2018-08-31

申请人： 安徽四创电子股份有限公司

发明人： 邓惠元 ,  范联伟 ,  余保华 ,  徐圣吉 ,  刘春珲 ,  李贤军 ,  胡鸿超 ,  金文林 ,  吴婷婷 ,  徐剑 ,  张国林 ,  张金国 ,  展昭 ,  何宽宽 ,  杨培韬

IPC分类号： G06F16/21 ,  G06F16/2455 ,  G06F16/25

摘要： 本发明涉及一种从关系型数据库到HBase数据库的数据流迁移方法，包括如下步骤：设置ETL工具的ExecuteSQL处理器的连接属性，将ExecuteSQL处理器与关系型数据库创建连接服务；通过ConvertAvroToJSON处理器将Avro格式的数据表转换为JSON格式的数据表；通过ConvertJSONToSQL处理器将Json格式的数据表转换为标准关系型数据库格式的数据表；通过ReplaceText处理器将标准关系型数据库格式的数据表转换为HBase数据库格式的数据表；通过PutSQL处理器将HBase数据库格式的数据表存储在HBase数据库中。本发明全程可视化操作、过程可控性强，且数据流迁移的错误率较低。

公开(公告)号：CN110716913A

公开(公告)日：2020-01-21

申请号：CN201910702780.7

申请日：2019-07-31

申请人： 安徽四创电子股份有限公司

发明人： 王升 ,  徐圣吉 ,  张金国 ,  展昭 ,  胡斌 ,  胡鸿超 ,  胡刚 ,  徐剑 ,  邓惠元 ,  张国林 ,  杨培韬

IPC分类号： G06F16/21 ,  G06F16/25

摘要： 本发明涉及一种Kafka与Elasticsearch数据库数据的互相迁移方法，包括如下步骤：读取Kafka数据库和Elasticsearch数据库配置文件的运行参数；并获取Kafka数据库和Elasticsearch数据库的元数据；根据Kafka数据库的元数据生成Kafka数据库的模型；根据Elasticsearch数据库的元数据生成Elasticsearch数据库的模型；根据数据迁移需求分别生成Kafka数据库和Elasticsearch数据库在代码中使用的配置文件定制模板；根据Kafka数据库的模型、Elasticsearch数据库的模型、Kafka数据库和Elasticsearch数据库的在代码中使用的配置文件定制模板生成可执行运行文件，运行可执行运行文件进而完成Kafka与Elasticsearch数据库数据的互相迁移。本发明实现了Kafka数据库与Elasticsearch数据库数据的快速互相迁移，满足了数据流动与分享需求。

公开(公告)号：CN110716913B

公开(公告)日：2022-12-20

申请号：CN201910702780.7

申请日：2019-07-31

申请人： 安徽四创电子股份有限公司

发明人： 王升 ,  徐圣吉 ,  张金国 ,  展昭 ,  胡斌 ,  胡鸿超 ,  胡刚 ,  徐剑 ,  邓惠元 ,  张国林 ,  杨培韬

IPC分类号： G06F16/21 ,  G06F16/25

摘要： 本发明涉及一种Kafka与Elasticsearch数据库数据的互相迁移方法，包括如下步骤：读取Kafka数据库和Elasticsearch数据库配置文件的运行参数；并获取Kafka数据库和Elasticsearch数据库的元数据；根据Kafka数据库的元数据生成Kafka数据库的模型；根据Elasticsearch数据库的元数据生成Elasticsearch数据库的模型；根据数据迁移需求分别生成Kafka数据库和Elasticsearch数据库在代码中使用的配置文件定制模板；根据Kafka数据库的模型、Elasticsearch数据库的模型、Kafka数据库和Elasticsearch数据库的在代码中使用的配置文件定制模板生成可执行运行文件，运行可执行运行文件进而完成Kafka与Elasticsearch数据库数据的互相迁移。本发明实现了Kafka数据库与Elasticsearch数据库数据的快速互相迁移，满足了数据流动与分享需求。

公开(公告)号：CN108874313A

公开(公告)日：2018-11-23

申请号：CN201810548955.9

申请日：2018-05-31

申请人： 安徽四创电子股份有限公司

发明人： 胡刚 ,  范联伟 ,  余保华 ,  徐圣吉 ,  张金国 ,  展昭 ,  李鑫 ,  邓惠元 ,  张国林 ,  金文林 ,  徐剑 ,  刘春珲 ,  胡斌 ,  谢伟 ,  赵树林 ,  王梦园 ,  杨培韬

IPC分类号： G06F3/06

摘要： 本发明涉及一种基于数据流的大数据增量抽取的数据交换平台，包括以下部分：网络服务器模块，为增量处理器模块和大数据存储模块提供执行环境，并用于托管大数据存储模块中的数据流的基于HTTP的命令和控制API；增量处理器模块，获取网络服务器模块提供的执行环境，将缓存队列存储在大数据存储模块中；大数据存储模块，获取网络服务器模块提供的执行环境，用于存储增量处理器模块的缓存队列；所述网络服务器模块的输出端连接增量处理器模块的输入端，增量处理器模块与大数据存储模块之间双向通信连接，网络服务器模块与大数据存储模块之间双向通信连接。本发明的数据变换平台对增量数据易于管理，使用方便，具有灵活缩放和可扩展的优点。