一种SparkSQL应用程序的自动化测试方法和装置

    公开(公告)号:CN109491904A

    公开(公告)日:2019-03-19

    申请号:CN201811304692.3

    申请日:2018-11-04

    Abstract: 一种SparkSQL应用程序的自动化测试装置涉及信息技术领域,尤其是大数据应用领域。本发明由测试环境、Jmockit、sqlList记录器、数量对比器、语句对比器组成;测试环境由maven工程配置器、jar包导入器、HDFS环境变量设置器、大数据组件引入器组成;实现本发明降低了测试难度不需要构造复杂的测试数据,根据SparkSQL应用程序的特点,将对比预期结果数据,转换为对比预期sql语句,降低了测试难度和测试效率;提高了测试效率从第二轮开始的迭代测试可以通过sql语句回放来自动验证程序的正确性,极大的提高了测试效率;提高了测试覆盖率第一轮的代码走读和sql查看可以覆盖整个业务逻辑,后期迭代测试根据sql语句回放,可以准确找到程序业务逻辑更改的地方,保证回归测试的覆盖率。

    基于信安系统的HTTP劫持监测分析及定位的方法

    公开(公告)号:CN109474587A

    公开(公告)日:2019-03-15

    申请号:CN201811297576.3

    申请日:2018-11-01

    Abstract: 基于信安系统的HTTP劫持监测分析及定位的方法,本发明涉及信息技术领域。实现本发明的必要模块包括:指纹样本库、日常检测网站库、广告位对比器、网页拍照HASH值生成器、未备案域名检测器、TTL分析器;指纹样本库由网页指纹库和流量指纹库组成;TTL分析器包括拨测客户端。实现本发明的益处在于:1、监测IDC机房内业务系统是否被劫持,所需采集设备减少,降低建设系统所需的投资成本,减轻了基础运营商的负担。2、能帮助运营商发现http劫持信息,结合定位分析能力清除http劫持点,维护客户的利益,项目可以在集团内做推广,实现大范围的应用。

    一种基于多模型融合的VPN流量识别方法及系统

    公开(公告)号:CN119675905A

    公开(公告)日:2025-03-21

    申请号:CN202411635112.4

    申请日:2024-11-15

    Abstract: 本发明提供一种基于多模型融合的VPN流量识别方法及系统,将Pcap文件流量特征向量与地理特征向量进行拼接,分别使用随机森林模型和LSTM网络模型进行流量类别预测,再将预测结果进行拼接作为元模型的输入得到最终预测结果。本发明实现了高效的网络流量监测、特征提取和决策支持。各个模块之间的协同工作,为网络安全监测提供了强有力的技术支撑,能够有效应对复杂的网络安全威胁;本发明通过多模型融合研判Vmess和Shadowsocks效果比单一的算法效果提升了5%;通过获取Pcap包的前100帧舍弃后面的流量,研判准确率没有降低,研判时间缩短至原来的40%。

    一种大数据批处理任务运行资源树生成的方法和装置

    公开(公告)号:CN119668830A

    公开(公告)日:2025-03-21

    申请号:CN202411434516.7

    申请日:2024-10-15

    Abstract: 本发明提供一种大数据批处理任务运行资源树生成的方法和装置,原始数据预收集模块收集批处理任务信息数据和原始资源任务运行时间预测数据,任务串行依赖顺序检测模块利用银行家算法改进算法计算得到每个待处理任务的紧前任务并进行任务链检查后得到任务组合依赖执行顺序数据;运行时间预测数据汇总模块、并行任务资源组合模块和串行任务资源组合模块进行资源的分配,任务资源树生成模块进行串行任务后继任务的补充得到资源树数据。本发明利用银行家算法改进算法,批处理预测时间结果数据,有效地对大数据批处理任务的资源调度进行有效管理,降低了大数据任务调度管理的复杂度和算法处理的复杂度,提高大数据处理的效率、稳定性和灵活性。

    一种多特征融合的DNS隐蔽隧道检测方法

    公开(公告)号:CN114567487B

    公开(公告)日:2024-08-06

    申请号:CN202210198998.5

    申请日:2022-03-03

    Abstract: 一种多特征融合的DNS隐蔽隧道检测方法涉及信息技术领域,本发明步骤包括:1)由黑样本收集器通过自建DNS隐蔽隧道获取DNS隐蔽隧道流量包;2)由黑样本标准化模块对DNS隐蔽隧道流量包数据进行预处理,并提取DNS隐蔽隧道流量包数据特征;3)由白样本标准化模块获取正常的DNS请求样本;4)构建神经网络模型模块;5)使用白样本构建快速预筛选模块;本发明的快速预筛选模块可以对正常请求域名和隧道请求域名进行简单区分,高效快速排除在实际工作中占有绝大多数的正常请求域名,在深度学习检测方面,本发明将一般性规则特征和深度域名文本特征结合用于DNS隐蔽隧道检测,提高检测准确度,降低了检测难度。

    通过ping命令形成地域指纹的IP地域归属方法

    公开(公告)号:CN114785719B

    公开(公告)日:2024-05-10

    申请号:CN202210380585.9

    申请日:2022-04-13

    Abstract: 通过ping命令形成地域指纹的IP地域归属方法涉及信息技术领域,本发明包含以下步骤:1)分地域建立探测点;2)分地域收集公网IP地址;3)排除地域编号错误的被测IP地址,更新地域IP地址表;4)分地域取得ping命令指纹特征曲线;5)建立指纹曲线匹配分析模型;本发明无需庞大的IP地址标注信息,避免大规模数据处理和大数据集群需求和数据存储负担,分析数据及时性高,在适用场景下,减轻大规模IP数据人工标注负担,可以适用ipv6地址的快速区域定位。

    一种基于SIMD指令加速的IPv4地址转换方法

    公开(公告)号:CN117955951A

    公开(公告)日:2024-04-30

    申请号:CN202311757554.1

    申请日:2023-12-20

    Abstract: 本发明提供一种基于SIMD指令加速的IPv4地址转换方法,针对IPv4地址串的特点,构建转换索引表和筛选索引向量表,通过转换索引表将IPv4四字节整数按字节转换为特定字符串分段,并格式化成16字节的标准地址串;将该地址串转换得到其模式掩码,并通过掩码索引其选择向量,将标准地址串中的“\0”和最后的“.”去掉后,进行重新的字节排列,生成最终的点分十进制地址串。本发明对IPv4地址的四个字节进行并行加速高性能转换,通过构建转换索引表和筛选索引向量表,充分发挥硬件的并行处理能力,从而加速整数到字符串的转换过程,这种并行加速能够显著提高大规模数据转换的效率;本发明充分利用SIMD指令集的优势,减少了存储和计算资源的浪费,提高了空间利用效率。

    一种识别V2Ray流量方法
    50.
    发明公开

    公开(公告)号:CN117857146A

    公开(公告)日:2024-04-09

    申请号:CN202311759275.9

    申请日:2023-12-20

    Abstract: 本发明提供一种识别V2Ray流量方法,首先采集流量并通过计算TCP包的熵值筛选疑似V2Ray流量,基于V2Ray协议开源代码交互过程中指令部分进行主动探测,提取疑似V2Ray流量中TCP握手后第一个包并捕获前64字节构造攻击数据,发送构造攻击数据后分析可变长度字节、判断服务类型。与现有检测方案本质均为基于概率的猜测不同,本发明采用被动检测加主动探测的检测方式进行V2Ray流量识别,通过筛选疑V2Ray流量、构造可绕过V2Ray防护且可遍历目标明文空间的攻击数据后发送数据,根据可变长度值判断是否为V2Ray,有效提高了V2Ray流量识别的准确率。

Patent Agency Ranking