基于自动化集群资源管理的GPU加速性能优化方法和系统

    公开(公告)号:CN110879753B

    公开(公告)日:2024-04-05

    申请号:CN201911135767.4

    申请日:2019-11-19

    Inventor: 梁猛 陈彬 戴传智

    Abstract: 本发明提供一种基于自动化集群资源管理的GPU加速性能优化方法和系统,方法包括S1:搭建多节点GPU环境、Spark集群和Hadoop集群;S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件系统;S3:读取HDFS数据;S4:GPU+Spark集群计算分析实现包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS;S6:利用指标监控工具监控CPU或GPU的指标。本发明1.自动化配置集群资源,无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识,继承了所有yarn和Spark的优点,避免单机HadoopHadoop/spark,Hadoop/spark开发的局限性。

    敏感数据监测方法、系统、电子设备及存储介质

    公开(公告)号:CN116975102A

    公开(公告)日:2023-10-31

    申请号:CN202210410190.9

    申请日:2022-04-19

    Abstract: 本申请涉及数据安全技术领域,提供一种敏感数据监测方法、系统、电子设备及存储介质。方法包括:数据提供者向数据分发器发送数据监测请求消息;数据分发器将数据监测请求消息发送至敏感数据监测实例;由数据处理器接收数据监测请求消息,对原始数据进行采样,向敏感嗅探器发送涉敏查询请求消息;数据处理器基于涉敏查询结果,向涉敏处理器发送涉敏处理请求消息;涉敏处理器输出涉敏查询结果;数据处理器将数据处理结果传输至数据使用者;数据分发器向数据提供者返回数据监测响应消息。本申请实施例提供的敏感数据监测方法,通过采用人工智能技术自动学习敏感数据关键特征,适用于多种类型的数据监测,具有效率高和准确率高的特点。

    号码白名单生成方法、装置、设备及计算机程序产品

    公开(公告)号:CN116963070A

    公开(公告)日:2023-10-27

    申请号:CN202211282856.3

    申请日:2022-10-19

    Abstract: 本申请涉及通信领域,提供一种号码白名单生成方法、装置、设备及计算机程序产品。所述号码白名单生成方法包括:根据获取的通信数据确定待处理号码,获取所述待处理号码的话单数据和位置数据;根据所述话单数据,确定所述待处理号码对应的应用使用信息;根据所述位置数据,确定所述待处理号码对应的移动速度;根据所述待处理号码、所述应用使用信息及所述移动速度,生成号码白名单。本申请通过获取的待处理号码的话单数据和位置数据,确定待处理号码对应的应用使用信息及移动速度,进而根据应用使用信息及移动速度从待处理号码中筛选出白名单号码,减少了诈骗号码识别过程中的误判,提高了诈骗号码识别的准确度。

    一种基于分布式多维分析的数据分析系统及方法

    公开(公告)号:CN110019396B

    公开(公告)日:2023-02-17

    申请号:CN201711252304.7

    申请日:2017-12-01

    Abstract: 本发明公开了一种基于分布式多维分析技术方案的数据分析系统及方法,所述系统包括如下模块:数据收集模块,数据预处理模块,数据多维模型设计模块,数据多维分析模块,数据展现模块。本发明的优点在于,本发明的系统及方法建设过程清晰,各层定制化能力强。能够处理每日TB级数据量上亿条包含用户信息的上网日志详单数据。转化为维度模型和数据立方体后可以分析时间、地理、网元、用户、终端、业务等维度的数据。维度模型的维度和指标清晰,便于业务人员使用。与分布式大数据处理方案比较,可以大大减少人工干预的汇总模型数量及数据处理任务的开发工作。

    一种HDFS资源的访问权限校验方法、装置及电子设备

    公开(公告)号:CN113076552A

    公开(公告)日:2021-07-06

    申请号:CN202010008620.5

    申请日:2020-01-03

    Abstract: 本发明公开了一种HDFS资源的访问权限校验方法、装置及电子设备,用于解决现有校验方案耗时长、效率低下的问题。该方法包括:接收用户对目标资源节点的访问请求,在该用户与目标资源节点和/或目标资源节点的父节点的所有者一致时,依次对目标资源节点的祖先节点、父节点、本节点和子节点执行指定校验步骤,直到该步骤的校验结果为不通过,或直到对目标资源节点的全部子节点执行该步骤,该步骤包括:调用Ranger校验进行校验,若Ranger返回无法确认,则调用HDFS进行校验,并将HDFS的权限校验函数中第一参数、第二参数和第三参数的赋值设为空,这三个参数分别为本次被校验节点的祖先节点、父节点和子节点的校验操作参数。

    基于信令的职业识别模型的训练方法、装置和电子设备

    公开(公告)号:CN118797443A

    公开(公告)日:2024-10-18

    申请号:CN202410882710.5

    申请日:2024-07-03

    Abstract: 本申请提出一种基于信令的职业识别模型的训练方法、装置和电子设备。该方法包括:获取样本用户的基本信息和信令信息;基于基本信息和信令信息,确定样本用户的关键特征集合,关键特征集合包括基本属性特征和职业特征;基于信令信息对样本用户进行划分,确定正样本用户和负样本用户;将正样本用户的关键特征集合和负样本用户的关键特征集合输入至初始职业识别模型中,对初始职业识别模型进行训练,以得到目标职业识别模型。由此,本方案通过划分正样本用户和负样本用户,并根据正样本用户和负样本用户的关键特征,对职业识别模型进行训练,以提高识别模型的准确性。根据职业特征,可以提高不同职业的区分度,进而增强识别结果的精确性。

Patent Agency Ranking