公开(公告)号：CN111897792A

公开(公告)日：2020-11-06

申请号：CN202010801434.7

申请日：2020-08-11

Applicant: 北京无线电测量研究所

Inventor： 崔迪 ,  张磊 ,  段晓杰

IPC: G06F16/182 ,  G06F16/172 ,  G06F16/14

Abstract: 本发明涉及一种分布式文件存取方法、系统、介质及设备，存储方法包括：采集原始数据；对原始数据进行解析，并提取原始数据的元数据；根据原始数据的解析结果为原始数据分配指定的存储路径，并将指定的存储路径添加到元数据中，将元数据存储至数据库；根据指定的存储路径向HDFS文件系统相应路径下存储相应文件名的原始数据。本发明实施例采用基于元数据的分布式文件存储方法和系统，能够根据简洁的元数据信息来直观的获取对于大数据量的原始信息的描述，便于管理，并且元数据中包含了原始文件的存储路径信息，简化了文件的检索流程，提高了文件效率。

公开(公告)号：CN113572854B

公开(公告)日：2023-11-14

申请号：CN202110914309.1

申请日：2021-08-10

Applicant: 北京无线电测量研究所

Inventor： 崔迪 ,  段晓杰 ,  张磊

IPC: H04L67/06 ,  H04L67/568

Abstract: 本发明公开了一种基于Kafka组件的数据传输方法及系统，涉及通信技术领域。该方法包括：数据采集装置获取待传输的原始数据；数据处理装置提取原始数据的关键信息；Producer组件根据原始数据的类型，将原始数据和关键信息发送至对应类型的Broker组件的不同主题中缓存；用户终端使用Consumer组件从Broker组件的对应主题中获取关键信息，根据关键信息判断是否获取原始数据。本发明适用于大量数据的高效高质量传输，可以满足大规模数据传输时的实时性要求，而关键信息提取相当于对原始数据的高效简化，满足数据质量要求，数据传输链路的缩短也增加了系统的稳定性。

公开(公告)号：CN113572854A

公开(公告)日：2021-10-29

申请号：CN202110914309.1

申请日：2021-08-10

Applicant: 北京无线电测量研究所

Inventor： 崔迪 ,  段晓杰 ,  张磊

IPC: H04L29/08

Abstract: 本发明公开了一种基于Kafka组件的数据传输方法及系统，涉及通信技术领域。该方法包括：数据采集装置获取待传输的原始数据；数据处理装置提取原始数据的关键信息；Producer组件根据原始数据的类型，将原始数据和关键信息发送至对应类型的Broker组件的不同主题中缓存；用户终端使用Consumer组件从Broker组件的对应主题中获取关键信息，根据关键信息判断是否获取原始数据。本发明适用于大量数据的高效高质量传输，可以满足大规模数据传输时的实时性要求，而关键信息提取相当于对原始数据的高效简化，满足数据质量要求，数据传输链路的缩短也增加了系统的稳定性。