-
公开(公告)号:CN116431677A
公开(公告)日:2023-07-14
申请号:CN202310710761.5
申请日:2023-06-15
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2453 , G06F16/25
Abstract: 本发明公开的一种基于内存数据库的数据路由方法、系统和可读存储介质,其中方法包括:识别输入的业务数据查询需求以获取业务查询数据,以进入路由处理进程;基于所述业务查询数据进行过滤条件解析得到对应的条件表达式;进入路由处理进程后,利用数据路由配置表解析对应的所述业务查询数据,以识别数据来源;基于所述数据来源进行参数映射得到对应的路由点,并利用所述条件表达式进行查询,而后将查询到的查询结果进行输出。本发明能够对多数据源以及冷热数据按需获取,合理利用计算、存储和带宽资源,从而可以优化查询效率。
-
公开(公告)号:CN116431677B
公开(公告)日:2023-11-21
申请号:CN202310710761.5
申请日:2023-06-15
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2453 , G06F16/25
-
公开(公告)号:CN116166671A
公开(公告)日:2023-05-26
申请号:CN202310431167.2
申请日:2023-04-21
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/22 , G06F16/2455 , G06F9/455
Abstract: 本申请提供了一种内存数据库表格预关联的处理方法、系统和介质。属于数据库应用技术领域。该方法包括:获取大表关联和多表关联的数据信息,并通过二维表表单配置获得二维配置表和预关联脚本,通过内存数据库配置并加载数据表读入至全局内存,再读取预关联脚本并运算获得预关联结果,根据业务查询场景对预关联结果进行二次运算得到最终运算结果;从而通过对大表、多表关联的数据信息配置二维配置表和预关联脚本,通过内存数据库配置项信息并加载数据表读入至内存,通过内存读取预关联脚本并运算获得预关联结果,业务场景对预关联结果进行二次运算得到最终运算结果,实现通过预先关联配置运算结果进行二次运算来减低数据库压力的技术。
-
公开(公告)号:CN116166671B
公开(公告)日:2023-08-15
申请号:CN202310431167.2
申请日:2023-04-21
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/22 , G06F16/2455 , G06F9/455
Abstract: 本申请提供了一种内存数据库表格预关联的处理方法、系统和介质。属于数据库应用技术领域。该方法包括:获取大表关联和多表关联的数据信息,并通过二维表表单配置获得二维配置表和预关联脚本,通过内存数据库配置并加载数据表读入至全局内存,再读取预关联脚本并运算获得预关联结果,根据业务查询场景对预关联结果进行二次运算得到最终运算结果;从而通过对大表、多表关联的数据信息配置二维配置表和预关联脚本,通过内存数据库配置项信息并加载数据表读入至内存,通过内存读取预关联脚本并运算获得预关联结果,业务场景对预关联结果进行二次运算得到最终运算结果,实现通过预先关联配置运算结果进行二次运算来减低数据库压力的技术。
-
公开(公告)号:CN116108110B
公开(公告)日:2023-08-15
申请号:CN202310404547.7
申请日:2023-04-17
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本申请提供了一种Kafka消息消费补偿方法、系统和介质。属于数据库应用技术领域,该方法包括:通过源端将主数据库中的数据记录发送到Kafka消息流中并传输到管道中,将消费侧与消息流连接并与管道进行消息链接,对管道进行消息拉取生成执行信息并写入内存队列表再生成执行脚本,并写入内存队列表中,后将执行脚本写入副数据库中,通过守护线程监听内存队列表中的信息并对标记的错误信息进行补偿,对补偿后的消息重新拉取并写入副数据库;从而通过流式消息将主数据库中的数据记录发送到管道中,并从消费侧拉取消息生成执行信息和执行脚本写入内存列表,通过补偿将数据写入副数据库中,实现对消息消费的同步补偿技术。
-
公开(公告)号:CN116108110A
公开(公告)日:2023-05-12
申请号:CN202310404547.7
申请日:2023-04-17
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本申请提供了一种Kafka消息消费补偿方法、系统和介质。属于数据库应用技术领域,该方法包括:通过源端将主数据库中的数据记录发送到Kafka消息流中并传输到管道中,将消费侧与消息流连接并与管道进行消息链接,对管道进行消息拉取生成执行信息并写入内存队列表再生成执行脚本,并写入内存队列表中,后将执行脚本写入副数据库中,通过守护线程监听内存队列表中的信息并对标记的错误信息进行补偿,对补偿后的消息重新拉取并写入副数据库;从而通过流式消息将主数据库中的数据记录发送到管道中,并从消费侧拉取消息生成执行信息和执行脚本写入内存列表,通过补偿将数据写入副数据库中,实现对消息消费的同步补偿技术。
-
-
-
-
-