一种实时文本数据流去重系统及方法

    公开(公告)号:CN117892727B

    公开(公告)日:2024-05-17

    申请号:CN202410288617.1

    申请日:2024-03-14

    Abstract: 本发明公开了一种实时文本数据流去重系统及方法,涉及数据去重领域,其中去重系统包括:数据输入端,所述数据输入端由用于接收与发送文本数据流的消息队列组成;数据处理端,所述数据处理端由流处理引擎组成,能够按不同语种对文本数据进行预处理,并基于改进Ksentence进行文本标识计算,最后形成输出数据流;数据输出端,所述数据输出端能够将数据处理端的输出数据流存储至对应的数据库中;并以此提出了一种去重方法;本发明,侧重于对海量性、实时性的文本进行去重,适用于在线实时场景。

    时变需求驱动的密集WLAN终端关联管理方法

    公开(公告)号:CN114599072B

    公开(公告)日:2024-02-06

    申请号:CN202210135446.X

    申请日:2022-02-14

    Abstract: 本发明公开了一种时变需求驱动的密集WLAN终端关联管理方法,包括:(1)提出了一种时变需求驱动的密集WLAN终端关联管理框架,包括接入时的初始关联选择和接入后的持续关联优化。其中,初始关联选择通过终端接入控制实现,持续关联优化通过终端迁移决策和终端迁移方案实施实现。(2)在终端初始接入时,同时考虑信号强度和AP负载两种因素,(3)综合考虑信号强度、AP负载、用户需求和迁移频率等影响负载均衡与用户体验的关键因素,(4)设计终端迁移方案实施,使终端与当前关联的AP解除关联,并引导其与指定AP重新关联,保证终端的快速迁移。该方案根据决策结果将对应终端快速且准确地迁移到目标AP,以实现网络总体性能以及用户体验质量的提升。

    开放网络模式下FreeNet匿名流量检测方法及系统

    公开(公告)号:CN114124467B

    公开(公告)日:2023-05-05

    申请号:CN202111271019.6

    申请日:2021-10-29

    Abstract: 本发明公开了一种开放网络模式下FreeNet匿名流量检测方法及系统,其中检测方法包括:数据采集:使用网络抓包工具采集流量数据,获取待识别的流量文件,并存为pcap格式的流量文件;数据预处理:过滤广播流量和ICMP协议流量,提取出会话的五元组信息与有效载荷数据,存为json格式的会话数据;特征提取:基于所述会话数据,提取会话中的特征并形成特征数据集,所述特征包括最大包长度、最小包长度、传输协议、端口个数和报文熵值;FreeNet流量检测:基于所述特征数据集,筛选出可能的FreeNet流量,输出其五元组信息。本发明基于规则策略匹配的方法对FreeNet流量进行检测,计算复杂度低,检测速度快。

    一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法

    公开(公告)号:CN114124551A

    公开(公告)日:2022-03-01

    申请号:CN202111430097.6

    申请日:2021-11-29

    Abstract: 本发明提供一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法,包括:获取流量数据的pcap文件;对pcap文件中pcap格式的流量数据进行数据预处理,得到会话数据;对会话数据进行多粒度特征提取,得到多粒度特征库;基于多粒度特征库,利用机器学习算法训练模型以及进行加密流量识别,并输出加密流量识别结果。本发明实现了一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法,从而实现对WireGuard协议下的恶意加密流量的检测。并进一步从包级、会话级以及主机级等多个粒度提取流量特征,提高特征的区分性与抗噪性,从而提升模型检测的准确性。

    基于多协议联合分析的I2P通信流量检测方法及装置

    公开(公告)号:CN114124468A

    公开(公告)日:2022-03-01

    申请号:CN202111271756.6

    申请日:2021-10-29

    Abstract: 本发明公开了一种基于多协议联合分析的I2P通信流量检测方法及装置,其中检测方法包括:流量原始数据预处理:对PCAP格式的文件进行预处理,包括过滤其他流量,所述其他流量包括ICMP、ARP和DHCP流量;数据处理及深度学习算法识别:利用卷积神经网络CNN对TCP协议传输的加密流量进行训练;统计类特征提取与机器学习算法识别:提取同一会话的上下文流量中UDP流量与TCP流量的相关统计特征,并利用梯度提升树GBDT进行训练;模型融合:将深度学习与机器学习的输出进行融合,并输出最后的预测结果。本发明结合TCP协议与UDP协议会话,提取相关特征,融合机器学习与机器学习,可有效提高I2P流量检测的准确性。

    一种面向示意图的对象检测方法

    公开(公告)号:CN113657415B

    公开(公告)日:2022-01-25

    申请号:CN202111224290.4

    申请日:2021-10-21

    Abstract: 本发明公开了一种面向示意图的对象检测方法,属于数据识别技术领域,包括:根据示意图生成若干个超像素区域,依据超像素区域中聚类中心点构造度量标准并更新聚类中心点;超像素划分为块矩形并经最大值池化处理,得到的特征图并根据其得到编码信息;随机选聚类中心点,利用编码信息、位置信息与聚类中心点的相似度得到编码信息和位置信息形成的聚类簇;将同一聚类簇的编码信息和位置信息分别进行融合形成大超像素块的特征信息和位置信息;将同一聚类簇的大超像素块的位置信息进行排序;将待检测对象周围不必要的位置信息进行去除,保留最符合真实数据的位置信息;完成示意图的对象检测。本发明对示意图的识别更加准确。

    一种ZeroNet网络服务站点代理关系测绘方法

    公开(公告)号:CN111835573A

    公开(公告)日:2020-10-27

    申请号:CN202010716211.0

    申请日:2020-07-23

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种ZeroNet网络服务站点代理关系测绘方法,根据对ZeroNet网络节点通信协议的分析,将原始代码中内嵌的Tracker节点以及站点地址作为原始的输入,通过不断向Tracker节点同步已知站点的服务节点,然后与通信节点建立网络连接交换缓存节点信息,建立网络节点与站点基本数据库和关系数据库。本发明基于ZeroNet协议,以主被动结合的方法全面探测ZeroNet网络通信节点资源,根据ZeroNet络中节点对站点的贡献度以及关系亲密程度,绘制具有导向性的代理关系,可挖掘网络中的核心节点及用户信息。

Patent Agency Ranking