一种分布式多用户的数据调度方法及系统

    公开(公告)号:CN113626161A

    公开(公告)日:2021-11-09

    申请号:CN202110778053.6

    申请日:2021-07-09

    Abstract: 本发明公开一种分布式多用户的数据调度方法及系统,包括通过解析用户A1发送的调度数据,获取用户B1绑定的工作节点B路由信息,且生成调度任务Ti;将调度任务Ti存储至对应的任务队列中;解析各调度任务Ti的路由信息并分类批量执行数据调度任务,以使用户B1从工作节点B的专有数据队列中获取所述调度数据。本发明将不同的用户分散绑定在分散的数据调度工作节点,对各用户之间的数据调度,采取异步批量分类执行的策略,并使用管理节点对工作节点进行管理,从而提高了调度的负荷能力、稳定性和可靠性。

    一种用于流量监测的效果验证方法及系统

    公开(公告)号:CN112272121A

    公开(公告)日:2021-01-26

    申请号:CN202010995988.5

    申请日:2020-09-21

    Abstract: 本发明公开了一种用于流量监测的效果验证方法及系统。本方法为:1)样本管理模块根据样本测试需求选取协议类型并设置对应的配置项,构造所需样本数据包并上传给服务器;配置项中包含数据包唯一标识信息、测试文件和测试次数;2)服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境;3)检测处置模块根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识;以及获取该服务器的全量流量监测日志并解析,根据日志结构区分不同协议以获取对应的数据包标识;4)检测处置模块将从日志解析的数据包标识与存储的样本数据包标识进行匹配,得到该服务器所发送样本数据包的监测结果,该监测结果即为验证结果。

    一种链式日志存储结构及其哈希索引结构、数据操作方法及服务器、介质

    公开(公告)号:CN107515901B

    公开(公告)日:2020-12-04

    申请号:CN201710606580.2

    申请日:2017-07-24

    Abstract: 本发明公开了一种链式日志存储结构及其哈希索引结构、数据操作方法及服务器、介质。本发明的链式日志存储结构,包括多个存储段和一数组,每一存储段的存储单元为一日志项,日志项包括初始大小字段、索引位置字段、键长度字段、Key字段和Value字段;其中Value字段用于存储数据,Key字段用于存储数据的键,初始大小字段用于存储日志项的初始大小,索引位置字段用于存储日志项的索引在哈希表中的位置;所述数组用于存储各存储段的元信息。本发明的哈希索引结构包括多个哈希桶,每一哈希桶的数据结构包括:索引数字段、有效标志字段、标签字段、偏移量字段和扩展桶字段。本发明能够保持整个结构内存的紧密连续性,降低碎片率。

    一种在网关上的实时恶意网页识别方法及系统

    公开(公告)号:CN111447169A

    公开(公告)日:2020-07-24

    申请号:CN201910043510.X

    申请日:2019-01-17

    Inventor: 檀国林 张鹏 郑超

    Abstract: 本发明公开了一种在网关上的实时恶意网页识别方法,包括:采集用户访问网页的流量,从中提取轻量级的恶意网页分类特征;基于这些分类特征,构建实时恶意网页分类模型;将该模型部署到核心网络设备上,以实时预测网页是否为恶意网页。本发明还公开了一种在网关上的实时恶意网页识别系统,包括流量采集模块、分类模型训练模块和预测模块。本发明基于恶意网页在上述特征上存在明显的倾斜分布,采用点分十进制来处理目的IP地址和源IP地址,即以每个IP地址字节作为一项分类特征,实现了在大型网关上快速、实时地识别和过滤恶意网页。

    一种基于序列相似度的车辆轨迹压缩方法

    公开(公告)号:CN110097074A

    公开(公告)日:2019-08-06

    申请号:CN201910207855.4

    申请日:2019-03-19

    Abstract: 本发明公开了一种基于序列相似度的车辆轨迹压缩方法。本方法为:1)将单位时间内同一标识ID的车辆的轨迹合成为一条长轨迹;该长轨迹为TrajectoryID={(l1,t1),(l2,t2),…,(ln,tn)},其中,第n次采集的信息包括位置ln、时间信息tn,记为采集点(ln,tn);2)根据设定的速度阈值对该长轨迹进行切割,得到多条分段轨迹;3)基于分段轨迹之间的序列相似度,对该长轨迹进行全局轨迹压缩。本发明大大节约了存储开销。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901B

    公开(公告)日:2016-01-20

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

    一种基于阻断连边的网络负面信息影响最小化方法

    公开(公告)号:CN105138580A

    公开(公告)日:2015-12-09

    申请号:CN201510462971.2

    申请日:2015-07-31

    CPC classification number: G06F17/30864

    Abstract: 本发明涉及一种基于阻断连边的网络负面信息影响最小化方法。该方法首先采用有向图表示社交网络中信息的传播,并利用贪婪算法找到该有向图中的k条边,使得当去掉该k条边时负面信息的感染面积最小,其中k为正整数;然后切除该k条边以使负面信息传播的范围最小。本发明通过贪婪算法寻找出可以将恶意信息扩散范围最小的k条边,这k条边远远小于社交网络图的总边数。本发明能够对于恶意信息已经爆发的社交网络进行有效地控制,使恶意信息的传播范围大大降低,所提出的贪婪算法是最接近理论最优解的,远远好于其他启发式算法。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901A

    公开(公告)日:2013-10-09

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

Patent Agency Ranking