-
公开(公告)号:CN113778947A
公开(公告)日:2021-12-10
申请号:CN202111128339.6
申请日:2021-09-26
Applicant: 杭州安恒信息技术股份有限公司
Abstract: 本发明公开了一种kafka流处理平台的数据导入方法,该方法包括以下步骤:通过对待导入kafka流处理平台的目标数据流进行字段拆分,分别获取拆分得到的各初始字段的字段类型,预先设置包含各字段类型与各数据格式转换规则之间对应关系的配置文件,利用预设配置文件进行格式转换规则匹配,根据各数据格式转换规则对各初始字段进行格式转换,得到统一格式的各目标字段,将各目标字段导入至kafka流处理平台。应用本发明所提供的kafka流处理平台的数据导入方法,较大地节省了人力,节省了时间成本,较大地提高了数据导入效率。本发明还公开了一种kafka流处理平台的数据导入装置、设备及存储介质,具有相应技术效果。
-
公开(公告)号:CN117407156A
公开(公告)日:2024-01-16
申请号:CN202311243486.7
申请日:2023-09-25
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F9/50 , G06F16/2458 , G06F16/25
Abstract: 本申请涉及目标数据提取方法、装置、计算机设备和存储介质,应用于服务器,该服务器部署有至少一个计算单元,所述方法包括:确定计算单元对应的数据格式;基于数据格式对计算单元进行划分,得到至少两个计算单元域,并基于计算单元域分配对应的数据提取算子;其中,数据提取算子用于指示对应的算子数据结构;获取待提取数据,基于算子数据结构从待提取数据中确定对应的待提取目标数据,并基于数据提取算子进行反序列化计算,得到待提取数据中的目标数据。采用本方法能够提升计算效率,减少计算资源的浪费。
-
公开(公告)号:CN116011405A
公开(公告)日:2023-04-25
申请号:CN202310109999.2
申请日:2023-01-16
Applicant: 杭州安恒信息技术股份有限公司
IPC: G06F40/151 , G06F40/253
Abstract: 本申请公开了一种JSON数据转换方法、装置、设备及介质,包括:获取自定义的JSON转换表达式;将所述JSON转换表达式解析为语法树;获取待转换JSON数据,并利用所述语法树对所述待转换JSON数据进行转换。也即,本申请将自定义的表达式解析为语法树,之后利用语法树对待转换JSON数据进行转换,这样,基于语法解析特性进行JSON数据转换,能够降低JSON数据转换的复杂度和学习成本,从而提升JSON数据转换效率。
-
-