一种数据文件均衡分区的方法
    31.
    发明公开

    公开(公告)号:CN117708066A

    公开(公告)日:2024-03-15

    申请号:CN202311457326.2

    申请日:2023-11-03

    Abstract: 本发明提供一种数据文件均衡分区的方法,对退火算法进行改造,将在将大批量文件分发到不同线程、分区、服务器时,兼顾文件大小和文件数量对资源消耗及性能的影响系数,避免因数据倾斜引起的资源和性能问题,也就是不出现资源长板和性能短板。本方法有助于优化大规模文件处理过程中的资源利用和性能,提高数据处理效率,同时具有一定的灵活性和适用性,使其成为在数据集成和数据开发领域中有益的解决方案。这种方法的独特之处在于考虑了文件大小和数量对资源和性能的综合影响,从而实现了更好的均衡分发。

    一种大数据批处理任务运行时间的预测方法和装置

    公开(公告)号:CN117271281A

    公开(公告)日:2023-12-22

    申请号:CN202311050274.7

    申请日:2023-08-21

    Abstract: 本发明提供一种大数据批处理任务运行时间的预测方法和装置,将批处理任务拆分为各个操作并分类,自定义基准数据,再将操作类型结合程序运行资源、服务器资源、数据集合信息通过基准程序在目标环境上使用基准数据运行以获得基准程序运行时间样本,使用基准程序运行时间样本训练模型,通过训练结果模型对拆分的待预测大数据批处理任务进行预测得到预测的批处理任务时间。本发明将批处理任务操作细分并结合时间影响因素,大大提高了预测的精度,且将通过自定义基准程序生成的各个操作运行日志数据作为模型训练样本,具有不依赖于历史日志数据,全面准确地预测大数据批处理任务运行时间的能力,保证了整体调度资源分配的合理性和运行时间的最小化。

    一种IPV6地址段判断的方法及装置

    公开(公告)号:CN112019652B

    公开(公告)日:2023-01-24

    申请号:CN202010880694.8

    申请日:2020-08-27

    Abstract: 一种IPV6地址段判断的装置涉及信息技术领域。本发明由IPv6地址段读取模块、IPv6地址段转换模块、IPv6地址段朱迪树生成模块、IPv6地址读取模块、IPv6地址转换模块和IPv6地址朱迪树比较模块组成;通过构建IPv6地址段的朱迪树来快速定位IPv6地址所处于的地址段,相比现有技术IPV6地址段查询速度更快,构建IPV6地址段占用内存更少。

    一种物联网终端风险评估的方法及装置

    公开(公告)号:CN115065547A

    公开(公告)日:2022-09-16

    申请号:CN202210848360.1

    申请日:2022-07-19

    Abstract: 一种物联网终端风险评估的方法及装置涉及信息技术领域,本发明由运营商上报数据采集器、终端信息集合器、原生风险识别模块、动态风险识别模块、分级风险识别模块和综合风险计算器组成;原生风险识别模块由漏洞识别器和明文识别器组成;动态风险识别模块由受控风险识别器、网络攻击识别器和有害程序识别器组成;分级风险识别模块由服务对象识别器、应用场景识别器、敏感度识别器组成;接入物联网终端的漏洞信息数据、物联网流量话单和安全事件数据,并依据物联网终端的使用场景全面的评估物联网终端的安全风险。

    基于图卷积的安卓恶意应用分类方法

    公开(公告)号:CN114595451A

    公开(公告)日:2022-06-07

    申请号:CN202210158644.8

    申请日:2022-02-22

    Abstract: 基于图卷积的安卓恶意应用分类方法涉及信息技术领域,本发明步骤包括:1)反编译APK文件;2)提取恶意代码程序块的调用关系和恶意代码程序块的指令分布特征;3)根据与恶意代码程序块关联的重要度选取关键程序块;4)对恶意代码程序块指令分布特征进行降维和非线性变换;5)恶意代码程序块调用关系图的嵌入特征与变换后的恶意代码程序块指令分布特征融合;6)建立图卷积神经网络模型;7)排序筛选节点;8)卷积神经网络对恶意软件进行家族分类;本发明以调用关系和程序块特征构建图,充分利用图特征建立图神经网络模型识别恶意应用并对其进行分类,有效提升了识别的准确率。

    一种多特征融合的DNS隐蔽隧道检测方法

    公开(公告)号:CN114567487A

    公开(公告)日:2022-05-31

    申请号:CN202210198998.5

    申请日:2022-03-03

    Abstract: 一种多特征融合的DNS隐蔽隧道检测方法涉及信息技术领域,本发明步骤包括:1)由黑样本收集器通过自建DNS隐蔽隧道获取DNS隐蔽隧道流量包;2)由黑样本标准化模块对DNS隐蔽隧道流量包数据进行预处理,并提取DNS隐蔽隧道流量包数据特征;3)由白样本标准化模块获取正常的DNS请求样本;4)构建神经网络模型模块;5)使用白样本构建快速预筛选模块;本发明的快速预筛选模块可以对正常请求域名和隧道请求域名进行简单区分,高效快速排除在实际工作中占有绝大多数的正常请求域名,在深度学习检测方面,本发明将一般性规则特征和深度域名文本特征结合用于DNS隐蔽隧道检测,提高检测准确度,降低了检测难度。

Patent Agency Ranking