公开(公告)号：CN118332038A

公开(公告)日：2024-07-12

申请号：CN202410352341.9

申请日：2024-03-26

Applicant: 南威软件股份有限公司

Inventor： 徐春梅 ,  林琼英 ,  颜伟进 ,  程炎

IPC: G06F16/25 ,  G06F16/21 ,  G06F16/23 ,  G06F16/18 ,  G06F16/22 ,  G06F16/215 ,  G06F16/28

Abstract: 本发明属于数据事务处理技术领域，公开了一种基于HDFS的ETL增量数据事务处理方法及系统，提供一种异步增量的HDFS文件数据合并服务，从而实现HDFS系统的文件数据增量过滤的能力，在保证原服务不中断的前提下达到重复数据的增量合并。提案中提出的内存增量化合并模型需要在尽压缩硬件资源耗费的前提下同时达到更高效的数据合并处理能力。本发明设定了更优的内存数据索引目录与血缘信息记录，使之在保证高效的前提下同时提供了跟踪工具，同时在增量化的数据回存原HDFS分区时提供了事务化保证了数据的安全性。

公开(公告)号：CN117336382A

公开(公告)日：2024-01-02

申请号：CN202311432974.2

申请日：2023-10-31

Applicant: 南威软件股份有限公司

Inventor： 吴志雄 ,  吴发贵 ,  程炎 ,  颜伟进 ,  林琼英

IPC: H04L69/14 ,  H04L69/18 ,  H04L67/145

Abstract: 本发明涉及一种基于RMI的跨网多协议链式传输方法，其特征在于：客户端注册通道，并提前配置的链路与通道信息，服务端间的请求将按照预定的链路信息并通过注册的通道进行传输；在通讯传输中，客户端根据配置的链路信息将请求转发至对应服务端，服务端将根据链路信息判断通道链路是否结束，若没有结束则继续向下一级服务端转发请求，否则将执行本地请求并回传结果。本发明将服务通讯过程链式化，将通讯过程抽离业务，无需关心具体实现原理，通过配置传输链路与通道信息即可实现跨网通信。