-
公开(公告)号:CN117319312B
公开(公告)日:2024-03-08
申请号:CN202311615781.0
申请日:2023-11-29
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: H04L47/22 , H04L41/147 , G06Q40/04
-
公开(公告)号:CN117056344A
公开(公告)日:2023-11-14
申请号:CN202311316960.4
申请日:2023-10-12
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/22 , G06F16/242 , G06F16/2457 , G06F16/28
Abstract: 本发明提供了一种对大规模固定连接模式的多表查询的数据建模方法,将数据嵌套入字段中保存,在保证数据完整的前提下,减少数据冗余,同时使用序列化技术将嵌套数据保存为二进制对象,尽可能减少存储空间占用,同时保留大表字段,将小表数据以对象形式存储,方便SQL查询对结果进行筛选。本发明避免了连接宽表中出现的数据冗余问题,减少了建模表占用空间,加快了查询效率。
-
公开(公告)号:CN117520385A
公开(公告)日:2024-02-06
申请号:CN202410018425.9
申请日:2024-01-05
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/2453 , G06N20/00 , G06F18/27
Abstract: 本发明提供了一种基于探索价值和查询代价的数据库查询优化方法,通过负载预测来推断未来的查询模板分布,通过机器学习进行基数估计进而估计每个查询的查询代价。本发明优化了传统学习只对当前的查询进行代价估计的策略,使得查询估计面向未来和当前的结合来选择最优的查询执行计划。本发明的查询方法提出的探索价值的定义,使得当前查询的查询计划对于未来预测的查询的价值能够具象化,进而为数据库查询优化提供更深入的见解和决策支持。
-
公开(公告)号:CN117319312A
公开(公告)日:2023-12-29
申请号:CN202311615781.0
申请日:2023-11-29
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: H04L47/22 , H04L41/147 , G06Q40/04
Abstract: 本发明公开了一种数据流量控制方法及装置,涉及金融技术领域。该方法的一具体实施方式包括:通过流量预测模型,预测未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值;根据流量值,确定多个时段对应的目标窗口时长,以根据目标窗口时长设置滚动窗口以接收金融资产序号集合;通过根据目标窗口时长设置的滚动窗口,分批接收金融资产序号集合;将接收到的金融资产序号集合,分批发送给下游节点,以使下游节点对金融资产序号集合进行处理。该实施方式实现了根据流量预测值,在线调整窗口,避免了流量波动导致的下游系统崩溃,造成数据丢失和错误,或计算资源浪费的情况;窗口滚动自增以接收数据,避免了窗口调整造成的数据丢失。
-
公开(公告)号:CN117520385B
公开(公告)日:2024-04-16
申请号:CN202410018425.9
申请日:2024-01-05
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/2453 , G06N20/00 , G06F18/27
Abstract: 本发明提供了一种基于探索价值和查询代价的数据库查询优化方法,通过负载预测来推断未来的查询模板分布,通过机器学习进行基数估计进而估计每个查询的查询代价。本发明优化了传统学习只对当前的查询进行代价估计的策略,使得查询估计面向未来和当前的结合来选择最优的查询执行计划。本发明的查询方法提出的探索价值的定义,使得当前查询的查询计划对于未来预测的查询的价值能够具象化,进而为数据库查询优化提供更深入的见解和决策支持。
-
公开(公告)号:CN117194052B
公开(公告)日:2024-02-20
申请号:CN202311455354.0
申请日:2023-11-03
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
Abstract: 本发明提供了一种用于金融资产计算的数据组织前置的增量计算方法,基于Flink、Kafka和Ignite等开源系统,构建了一种用于金融资产计算的数据组织前置的增量计算方法,将数据组织功能和数据计算功能松耦合,使用Flink滚动窗口方法保证了数据组织结果顺序的正确性,并且提供秒级的可扩展的数据处理能力,从而提升实时处理速度。本发明解决了批处理全量数据中重复计算无变化数据的问题:每次只针对变化的市场曲线数据进行计算,避免冗余计算,提升实时处理速度;缓解了流处理中的数据拥塞,避免处理结果乱序甚至丢失:设置一定大小的滚动窗口接收数据,滚动窗口结束后再统一处理数据,避免高频率处理,同时保证了处理数据结果顺序的正确性。
-
公开(公告)号:CN117056344B
公开(公告)日:2024-02-20
申请号:CN202311316960.4
申请日:2023-10-12
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/22 , G06F16/242 , G06F16/2457 , G06F16/28
Abstract: 本发明提供了一种对大规模固定连接模式的多表查询的数据建模方法,将数据嵌套入字段中保存,在保证数据完整的前提下,减少数据冗余,同时使用序列化技术将嵌套数据保存为二进制对象,尽可能减少存储空间占用,同时保留大表字段,将小表数据以对象形式存储,方便SQL查询对结果进行筛选。本发明避免了连接宽表中出现的数据冗余问题,减少了建模表占用空间,加快了查询效率。
-
公开(公告)号:CN117194052A
公开(公告)日:2023-12-08
申请号:CN202311455354.0
申请日:2023-11-03
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
Abstract: 本发明提供了一种用于金融资产计算的数据组织前置的增量计算方法,基于Flink、Kafka和Ignite等开源系统,构建了一种用于金融资产计算的数据组织前置的增量计算方法,将数据组织功能和数据计算功能松耦合,使用Flink滚动窗口方法保证了数据组织结果顺序的正确性,并且提供秒级的可扩展的数据处理能力,从而提升实时处理速度。本发明解决了批处理全量数据中重复计算无变化数据的问题:每次只针对变化的市场曲线数据进行计算,避免冗余计算,提升实时处理速度;缓解了流处理中的数据拥塞,避免处理结果乱序甚至丢失:设置一定大小的滚动窗口接收数据,滚动窗口结束后再统一处理数据,避免高频率处理,同时保证了处理数据结果顺序的正确性。
-
公开(公告)号:CN118643031B
公开(公告)日:2024-12-17
申请号:CN202411075724.2
申请日:2024-08-07
Applicant: 凯美瑞德(苏州)信息科技股份有限公司
IPC: G06F16/215 , G06F16/2458 , G06Q40/00
Abstract: 本发明公开了一种金融数据处理方法、装置、电子设备及处理介质,涉及金融科技技术领域。该方法的一具体实施方式包括:能够获取待处理的金融数据的到达时间戳以及获取当前数据窗口;在确定所述到达时间戳超出所述时间范围的情况下,为所述待处理的金融数据构建新的目标数据窗口;所述目标数据窗口与所述当前数据窗口为时间连续;在所述目标数据窗口内处理所述金融数据。本发明的实施例通过自适应地调整数据窗口以及构建时间连续的数据窗口,克服了基于现有方法构建的数据窗口接收和处理金融数据产生数据丢失或者数据异常的问题;提高了金融数据处理的完整性和可靠性。
-
公开(公告)号:CN118643031A
公开(公告)日:2024-09-13
申请号:CN202411075724.2
申请日:2024-08-07
Applicant: 凯美瑞德(苏州)信息科技股份有限公司
IPC: G06F16/215 , G06F16/2458 , G06Q40/00
Abstract: 本发明公开了一种金融数据处理方法、装置、电子设备及处理介质,涉及金融科技技术领域。该方法的一具体实施方式包括:能够获取待处理的金融数据的到达时间戳以及获取当前数据窗口;在确定所述到达时间戳超出所述时间范围的情况下,为所述待处理的金融数据构建新的目标数据窗口;所述目标数据窗口与所述当前数据窗口为时间连续;在所述目标数据窗口内处理所述金融数据。本发明的实施例通过自适应地调整数据窗口以及构建时间连续的数据窗口,克服了基于现有方法构建的数据窗口接收和处理金融数据产生数据丢失或者数据异常的问题;提高了金融数据处理的完整性和可靠性。
-
-
-
-
-
-
-
-
-