公开(公告)号：CN117149902A

公开(公告)日：2023-12-01

申请号：CN202310827402.8

申请日：2023-07-06

Applicant: 中国电信股份有限公司技术创新中心 ,  中国电信股份有限公司

Inventor： 余珍聪 ,  范利成 ,  王兵 ,  康建伟 ,  黄泽华

IPC: G06F16/27 ,  G06F16/22 ,  G06F16/23

Abstract: 本申请公开一种数据处理方法、装置、电子设备及存储介质，属于大数据技术领域，包括：分别为每个服务器上发生的数据更改事件设置偏移量并将每个数据更改事件和每个数据更改事件的偏移量保存至数据表中，按照数据表中记录的偏移量的顺序，分别对每个数据更改事件执行如下操作，将数据更改事件作为待同步数据更改事件并根据待同步数据更改事件的偏移量以及偏移量表内记录的每个服务器对应的已完成偏移量，向多个服务器中的部分或全部服务器发送针对待同步数据更改事件的数据同步指令，接收多个服务器中的部分或全部服务器发送的同步完成消息并基于同步完成消息将对应服务器的已完成偏移量更新为待同步数据更改事件的偏移量，实现数据库的高可用性。

公开(公告)号：CN116610736A

公开(公告)日：2023-08-18

申请号：CN202310585124.X

申请日：2023-05-23

Applicant: 中国电信股份有限公司上海研究院 ,  中国电信股份有限公司

Inventor： 王兵 ,  韩硕 ,  路绪海 ,  余珍聪 ,  郭望纾

IPC: G06F16/25 ,  G06F9/54

Abstract: 本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，该方法包括：获得待处理数据；其中，所述待处理数据包括日志数据流以及广播状态流，所述日志数据流包括各对象对应的运行数据；若所述广播状态流表征新增规则，则将所述广播状态流中的规则转化为预设格式的规则，并将所述预设格式的规则添加至预设规则引擎中；其中，所述预设格式为所述预设规则引擎对应的格式；针对所述预设规则引擎中的任一可用规则，将各对象对应的运行数据分别与所述可用规则进行匹配，确定各对象对应的运行数据是否符合各可用规则。上述方案，在数据处理中动态添加规则，并将规则管理过程与日志数据流处理过程进行解耦，方便数据处理和后期规则维护。

公开(公告)号：CN116628022A

公开(公告)日：2023-08-22

申请号：CN202310480249.6

申请日：2023-04-28

Applicant: 中国电信股份有限公司

Inventor： 王兵 ,  严劲 ,  余珍聪 ,  康建伟 ,  黄泽华

IPC: G06F16/2455 ,  G06F16/25 ,  G06F16/21 ,  G06F16/2458

Abstract: 本公开提供了一种用于流式数据做历史增量聚合的方法及相关设备，涉及大数据处理技术领域。该方法包括，根据分组条件，确定原始数据流的键值与键值数据流；将键值数据流进行开窗处理，确定初步聚合数据流；将初步聚合数据流与远程字典服务Redis数据库建立连接；根据键值在Redis数据库中查询；若Redis数据库中存在键值对应的历史数据，则取出历史数据与初步聚合数据流进行累加之后存入Redis数据库。本公开能够高效而准确地实现对流式数据做历史增量聚合统计。