数据同步方法及装置
    1.
    发明公开

    公开(公告)号:CN118796939A

    公开(公告)日:2024-10-18

    申请号:CN202311873888.5

    申请日:2023-12-29

    Abstract: 本公开涉及计算机技术领域,尤其涉及一种数据同步方法及装置。其中,该方法包括:搭建缓冲数据库,其中,缓冲数据库的类型以及版本与源端数据库的类型以及版本相同;将源端数据库中的数据同步至缓冲数据库,得到同步后的缓冲数据库,其中,在将源端数据库中的数据同步至缓冲数据库的过程中,若任一数据同步事务对应的数据量大于数据量阈值,则对任一数据同步事务对应的同步进程参数进行调整,直至同步进程参数满足同步性能压力要求;将同步后的缓冲数据库中的数据同步至目标数据库。采用上述方案的本公开可以提高大事务同步效率,避免同步性能瓶颈和同步中断,确保大批量操作时的数据同步高效进行。

    一种数据查询方法及装置

    公开(公告)号:CN113254480B

    公开(公告)日:2024-04-19

    申请号:CN202010089925.3

    申请日:2020-02-13

    Inventor: 廖锋 余刚 陈辉

    Abstract: 本发明实施例提供了一种数据查询方法及装置,其中,该方法包括:接收业务系统发送的数据查询请求,其中,数据查询请求包括待查询数据的查询标识和查询参数;根据查询标识,获取第一查询规则;其中,第一查询规则为预先基于业务系统发送的预注册请求所确定的最优的查询规则;根据第一查询规则和查询参数,从缓存中进行数据查询处理,得到查询结果;其中,缓存中存储的数据为基于预注册请求所加载的数据;将查询结果发送给业务系统。由此,基于预先注册的查询规则和查询标识,以及预先加载至缓存中的数据,进行数据查询,通过同一数据模型,不仅满足了分析型业务的数据需求,而且满足了事件触发型业务的数据需求,实现了高性能的数据查询。

    异构数据库SQL语句适配方法、装置和设备

    公开(公告)号:CN117131003A

    公开(公告)日:2023-11-28

    申请号:CN202210554781.3

    申请日:2022-05-19

    Abstract: 本申请涉及数据库技术领域,提供一种异构数据库SQL语句适配方法、装置和设备。方法包括:获取源端数据库发送的待匹配SQL语句;基于预设规则检测待匹配SQL语句中是否存在可匹配字符串;在待匹配SQL语句中不存在可匹配字符串的情况下,基于源端数据库中待匹配SQL语句对应的执行计划,或源端数据库中与待匹配SQL语句关联的近似SQL语句的执行计划,构造与待匹配SQL语句语义相同的目标端数据库可执行的目标SQL语句。本申请实施例提供的异构数据库SQL语句适配方法、装置和设备可以用以解决现行的解决方案中应用在不同数据库之间的迁移时,应用迁移效率低,且代码的开发和维护成本高的技术问题。

    一种数据处理方法、装置及电子设备

    公开(公告)号:CN113536848A

    公开(公告)日:2021-10-22

    申请号:CN202010306695.1

    申请日:2020-04-17

    Inventor: 廖锋 余刚 陈辉

    Abstract: 本发明实施例公开了一种数据处理方法、装置及电子设备,所述方法包括:获取种子用户群的目标群体特征,所述种子用户群为目标通信业务的使用群体;获取所述种子用户群的特征值中与所述目标群体特征对应的第一特征值,以及候选用户群的特征值中与所述目标群体特征对应的第二特征值;基于所述第一特征值、所述第二特征值,以及预设能量传播算法,确定所述候选用户群中每个所述候选用户的能量值;基于所述候选用户的能量值,确定针对所述目标通信业务的所述候选用户群中的潜在用户。通过本方法,可以准确的从候选用户群中,确定目标通信业务的潜在用户。

    一种数据迁移方法及装置

    公开(公告)号:CN112583864A

    公开(公告)日:2021-03-30

    申请号:CN201910926762.7

    申请日:2019-09-27

    Inventor: 廖锋 余刚 陈辉

    Abstract: 本发明实施例提供了一种数据迁移方法及装置,其中,利用预先构建的路由服务集群对所有路由数据进行集中存储并管理,并且在数据迁移过程中,对路由服务集群中存储的路由数据中的状态信息和节点标识信息进行实时更新,以便快速从路由服务集群中查询准确度高且一致性高的路由数据;这样在路由业务处理过程中,能够先从路由服务集群中查询路由对象的当前状态,只有处于迁移状态的路由对象的业务会受到影响,而处于正常状态的路由对象的路由业务将不受影响,从而确保最大限度地为用户提供正常路由业务服务,提升用户使用体验,同时,还能够保证在路由业务处理过程的同时自动进行数据迁移工作,降低了数据迁移成本,提高了数据迁移效率。

    话单检索方法、系统、电子设备及存储介质

    公开(公告)号:CN110019094A

    公开(公告)日:2019-07-16

    申请号:CN201711465375.5

    申请日:2017-12-28

    Abstract: 本发明的实施例提供了一种话单检索方法、系统、电子设备及存储介质,话单检索方法包括接收话单检索指令,其中,所述话单检索指令中包括目标话单的第一标识的类型和第二标识的类型;若判断获知针对目标话单的检索范围大于预设阈值,则根据所述目标话单的第一标识,通过MapReduce计算框架在HBase数据库中进行一次检索,得到一次话单;根据所述目标话单的第二标识的类型,对所述一次话单中的全部话单进行二次检索,得到目标话单,其中,所述话单的数据格式均为第一数据格式,且所述第一数据格式由各类第二标识组成。本发明能够支持对海量话单中所有字段进行自定义检索,并能够有效减少话单检索过程中的人工参与工作,进而能够有效提高话单检索的准确性。

    数据库子查询优化方法、装置和电子设备

    公开(公告)号:CN117194464A

    公开(公告)日:2023-12-08

    申请号:CN202210615987.2

    申请日:2022-05-31

    Abstract: 本申请涉及数据库技术领域,提供一种数据库子查询优化方法、装置和电子设备。方法包括:获取待执行SQL语句;在待执行SQL语句中包括子查询语句的情况下,根据子查询语句预估在火山模型下子查询操作的执行次数和执行耗时;在执行次数和/或执行耗时达到预设阈值的情况下,基于子查询语句对应的外部表的数据执行子查询语句,得到子查询语句的查询结果;基于查询结果构建物化视图表,并在物化视图表上建立索引;基于物化视图表和索引,在火山模型下执行下次子查询语句对应的子查询操作。本申请实施例提供的数据库子查询优化方法用以解决现有的火山模型会降低数据库子查询的效率的技术问题。

    一种数据查询方法及装置

    公开(公告)号:CN113254480A

    公开(公告)日:2021-08-13

    申请号:CN202010089925.3

    申请日:2020-02-13

    Inventor: 廖锋 余刚 陈辉

    Abstract: 本发明实施例提供了一种数据查询方法及装置,其中,该方法包括:接收业务系统发送的数据查询请求,其中,数据查询请求包括待查询数据的查询标识和查询参数;根据查询标识,获取第一查询规则;其中,第一查询规则为预先基于业务系统发送的预注册请求所确定的最优的查询规则;根据第一查询规则和查询参数,从缓存中进行数据查询处理,得到查询结果;其中,缓存中存储的数据为基于预注册请求所加载的数据;将查询结果发送给业务系统。由此,基于预先注册的查询规则和查询标识,以及预先加载至缓存中的数据,进行数据查询,通过同一数据模型,不仅满足了分析型业务的数据需求,而且满足了事件触发型业务的数据需求,实现了高性能的数据查询。

Patent Agency Ranking