-
公开(公告)号：CN111585997A
公开(公告)日：2020-08-25
申请号：CN202010344517.8
申请日：2020-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 浙江邦盛科技有限公司
Abstract: 本发明公开了一种基于少量标注数据的网络流量异常检测方法，采用双自编码器对特征向量进行降维处理，然后使用深度神经网络进行有监督的训练；将网络流量分成正样本和负样本的两类，最后筛选出无标注数据中部分重要样本，交由专家进行标注，增加有标记样本数量，迭代更新自编码器和分类器，之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构，使用纯净的正负样本分别训练自编码器，提升了分类器的稳定性。同时改进深度神经网络的损失函数，更细粒度地调整样本权重，解决正负样本不平衡，缓解训练集较小导致的过拟合问题，并提出一种新的计算无标注数据的标记价值的方法，选择标记价值高的样本交由专家，减少了标注成本。
-
公开(公告)号：CN111585997B
公开(公告)日：2022-01-14
申请号：CN202010344517.8
申请日：2020-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 浙江邦盛科技有限公司
Abstract: 本发明公开了一种基于少量标注数据的网络流量异常检测方法，采用双自编码器对特征向量进行降维处理，然后使用深度神经网络进行有监督的训练；将网络流量分成正样本和负样本的两类，最后筛选出无标注数据中部分重要样本，交由专家进行标注，增加有标记样本数量，迭代更新自编码器和分类器，之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构，使用纯净的正负样本分别训练自编码器，提升了分类器的稳定性。同时改进深度神经网络的损失函数，更细粒度地调整样本权重，解决正负样本不平衡，缓解训练集较小导致的过拟合问题，并提出一种新的计算无标注数据的标记价值的方法，选择标记价值高的样本交由专家，减少了标注成本。
-
公开(公告)号：CN112818039B
公开(公告)日：2022-04-26
申请号：CN202110158646.2
申请日：2021-02-04
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2458 , G06F16/2453 , G06F16/23
Abstract: 本发明公开了一种解决乱序事件和晚到数据的精准窗口处理方法。该方法采用精准窗口记录原始业务流水数据，可以通过时间窗口的长度和不同流水个数这两种方式，实现对乱序和晚到数据的更新以及业务流水数据的查询；本发明提供的解决乱序事件和晚到数据的精准窗口处理方法主要分为三个部分：精准窗口的创建、精准窗口的更新以及基于精准窗口对时序数据的查询。本发明提出的解决乱序事件和晚到数据的精准窗口处理方法可保留用户自定义的最近时间范围或者最近几笔的原始有序流水数据，并且实现数据的动态更新，同时也能达到毫秒级的查询延时。
-
公开(公告)号：CN112905638A
公开(公告)日：2021-06-04
申请号：CN202110144255.5
申请日：2021-02-02
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2453 , G06F16/2458 , G06Q20/38
Abstract: 本发明公开了一种基于喇叭状的时间切片处理方法，所述的时间切片方法可根据用户的定义，使得时间切片的长度类似于喇叭状，离当前时间越近的时间切片长度越短，离当前时间越久的时间切片长度越长。基于喇叭状的时间切片处理方法主要分为四个部分：喇叭状时间切片的定义、喇叭状时间切片的创建、喇叭状时间切片的管理和喇叭状时间切片的查询。本发明提出的喇叭状时间切片方法可保留更大时间跨度的数据，并且节省大量的存储空间，进而降低大时间跨度下的指标查询延迟，使其依旧能在毫秒级的延时内返回查询结果。
-
公开(公告)号：CN112799846A
公开(公告)日：2021-05-14
申请号：CN202110158658.5
申请日：2021-02-04
Applicant: 浙江邦盛科技有限公司
Abstract: 本发明公开了一种针对分布式系统数据进行时序处理的方法，该方法使得落在不同节点上的数据处理顺序拨乱反正，产生晚的数据要晚处理产生早的数据早处理，即把系统中每个节点处理的数据时间戳写入外部缓存系统，当节点在处理数据过程中需要与每个节点写入外部缓存系统的时间戳进行比较，保证每次处理的数据时间小于所有节点中最小的那个时间戳。本发明适用于解决现有技术无法在分布式系统架构下多环节数据处理方式时即要保证数据按时间顺序经过每个环节又要保证系统超高的吞吐量的问题。是一种高效的提升数据顺序处理的方法，更好的支持业务需求。
-
Patent Agency Ranking
公开(公告)号：CN111984860A
公开(公告)日：2020-11-24
申请号：CN202010754364.4
申请日：2020-07-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/9535 , G06F16/951
Abstract: 本发明公开了一种时序数据的事件上下文关联处理方法及系统，首先定义事件上下文关联逻辑，包括相邻事件关联逻辑以及上下文归并处理逻辑两部分，获取到事件的数据和时间戳后，读取计算机存储器中的中间结果并进行归并处理，最后进行进行事件上下文关联处理，得到唯一的上下文关联关联处理结果。本发明克服了现有技术方案中耗时长、效率低的缺陷，能快速地进行海量时序数据的事件上下文关联处理；另外，本发明提前计算好了中间结果，所以在查询时避免了大量无用的计算机重复运算，响应速度极快；此外，中间结果是跟着系统时间移动而不断变化的，能够达到时间窗口平滑移动的目的。本发明能够显著提升时序数据的事件上下文关联处理的效率。
-
公开(公告)号：CN111782663A
公开(公告)日：2020-10-16
申请号：CN202010752340.5
申请日：2020-07-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种提升聚合查询效率的聚合索引结构及聚合索引方法，所述聚合索引通过分组和切片两个维度对流水数据进行划分，然后对划分后的数据进行聚合，其结构包括索引元数据、切片数据列表和明细数据存储；聚合索引方法包括聚合索引定义、聚合索引创建、和聚合索引查询三个部分。本发明提出的聚合索引结构和方法能够极大提升聚合查询的效率，支持PB级别数据的即席聚合查询，能在秒级完成对大量数据的聚合查询，支持新数据的随时插入，在查询范围条件发生变更的情况下，也能在分钟级甚至秒级延时内返回查询结果。
-
公开(公告)号：CN111522846A
公开(公告)日：2020-08-11
申请号：CN202010273950.7
申请日：2020-04-09
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明公开了一种基于时序中间态数据结构的数据聚合方法，时序中间态数据结构包括主键、特征键和数据；主键用于关联业务系统中一个特定的业务对象，对数据的存储和计算进行负载均衡，特征键用于描述特定业务对象的特征名称，数据为业务系统中的事件经过特征计算系统处理后形成的数值及其计算方法，用于时序中间态数据合并操作时计算中间结果。数据聚合方法基于时序中间态数据结构，通过将事件转换成若干条中间态数据，存储至对应的缓存队列中，再根据中间态数据的主键、特征键以及时间戳对中间态数据进行合并，最后存储进到存数据库中。本发明方法能够减少系统的IO负载，减少并合理分配系统的计算负载。
-
公开(公告)号：CN109726237B
公开(公告)日：2020-02-07
申请号：CN201811528553.9
申请日：2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法，该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储，关联主键为Key，待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题，是一种高效的数据关联补全方法，能够提升数据获取效率及质量，更好的支撑业务需求。
-
公开(公告)号：CN109726237A
公开(公告)日：2019-05-07
申请号：CN201811528553.9
申请日：2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法，该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储，关联主键为Key，待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题，是一种高效的数据关联补全方法，能够提升数据获取效率及质量，更好的支撑业务需求。
-
-
-
-
-
-
-
-
-
Search Results
47
records
(took 0.052 seconds)
