-
公开(公告)号：CN112711470A
公开(公告)日：2021-04-27
申请号：CN202011612537.5
申请日：2020-12-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F9/48 , G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种集群并行处理多任务的方法，应用程序在集群部署，多个应用同时接收外部请求提交的主任务并将一个主任务拆分为N个子任务并行执行，最后由子任务本身来提交子任务最终的处理的结果数据到统一外部存储，提交的子任务状态数据根据主任务ID取模一个固定值K得到一个分区号，并将结果数据带有分区号。同一个主任务的N个子任务的状态数据对应同一个分区，分区总数为K。最后由集群主节点创建K个线程并发处理这K个分区内的数据，判断各个主任务的所有子任务是否全部提交了自己的处理结果，对子任务全部完成的主任务做回调，即通知提交任务者任务已完成。本发明在任务集散类工作原理的应用中有效提高任务的并发处理和吞吐效率。
-
公开(公告)号：CN111984860A
公开(公告)日：2020-11-24
申请号：CN202010754364.4
申请日：2020-07-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/9535 , G06F16/951
Abstract: 本发明公开了一种时序数据的事件上下文关联处理方法及系统，首先定义事件上下文关联逻辑，包括相邻事件关联逻辑以及上下文归并处理逻辑两部分，获取到事件的数据和时间戳后，读取计算机存储器中的中间结果并进行归并处理，最后进行进行事件上下文关联处理，得到唯一的上下文关联关联处理结果。本发明克服了现有技术方案中耗时长、效率低的缺陷，能快速地进行海量时序数据的事件上下文关联处理；另外，本发明提前计算好了中间结果，所以在查询时避免了大量无用的计算机重复运算，响应速度极快；此外，中间结果是跟着系统时间移动而不断变化的，能够达到时间窗口平滑移动的目的。本发明能够显著提升时序数据的事件上下文关联处理的效率。
-
Patent Agency Ranking
公开(公告)号：CN111782663A
公开(公告)日：2020-10-16
申请号：CN202010752340.5
申请日：2020-07-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种提升聚合查询效率的聚合索引结构及聚合索引方法，所述聚合索引通过分组和切片两个维度对流水数据进行划分，然后对划分后的数据进行聚合，其结构包括索引元数据、切片数据列表和明细数据存储；聚合索引方法包括聚合索引定义、聚合索引创建、和聚合索引查询三个部分。本发明提出的聚合索引结构和方法能够极大提升聚合查询的效率，支持PB级别数据的即席聚合查询，能在秒级完成对大量数据的聚合查询，支持新数据的随时插入，在查询范围条件发生变更的情况下，也能在分钟级甚至秒级延时内返回查询结果。
-
公开(公告)号：CN111522846A
公开(公告)日：2020-08-11
申请号：CN202010273950.7
申请日：2020-04-09
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明公开了一种基于时序中间态数据结构的数据聚合方法，时序中间态数据结构包括主键、特征键和数据；主键用于关联业务系统中一个特定的业务对象，对数据的存储和计算进行负载均衡，特征键用于描述特定业务对象的特征名称，数据为业务系统中的事件经过特征计算系统处理后形成的数值及其计算方法，用于时序中间态数据合并操作时计算中间结果。数据聚合方法基于时序中间态数据结构，通过将事件转换成若干条中间态数据，存储至对应的缓存队列中，再根据中间态数据的主键、特征键以及时间戳对中间态数据进行合并，最后存储进到存数据库中。本发明方法能够减少系统的IO负载，减少并合理分配系统的计算负载。
-
公开(公告)号：CN109726237B
公开(公告)日：2020-02-07
申请号：CN201811528553.9
申请日：2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法，该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储，关联主键为Key，待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题，是一种高效的数据关联补全方法，能够提升数据获取效率及质量，更好的支撑业务需求。
-
公开(公告)号：CN110083609A
公开(公告)日：2019-08-02
申请号：CN201910350630.4
申请日：2019-04-28
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/22 , G06F16/242 , G06F16/2458 , G06F16/29
Abstract: 本发明公开了一种轨道交通网络客流数据中图结构数据的实时查询方法，对带有属性和标签的数据图进行基于跳数的分区，并建立相关索引；输入查询图，计算查询图的半径并选取查询起始点；生成查询图的查询序列；在各个分区内根据查询图的查询起始点的特征过滤出满足条件的数据图的查询起始点；进行级联式的图查询过程；收集所有分区的查询结果，完成分布式图查询过程。本发明在跨分区查询过程中传输查询图而不传输数据图，进而减少了数据传输量；级联查询过程基于起始点而不在整个数据图范围内进行，进而大幅降低了查询范围；采用异步并发和查询时结果集检测，能够最大化查询效率，从而能够满足轨道交通网络客流数据中图结构数据的实时查询处理需求。
-
公开(公告)号：CN109726237A
公开(公告)日：2019-05-07
申请号：CN201811528553.9
申请日：2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法，该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储，关联主键为Key，待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题，是一种高效的数据关联补全方法，能够提升数据获取效率及质量，更好的支撑业务需求。
-
-
-
-
-
-
Search Results
47
records
(took 0.071 seconds)
