-
公开(公告)号:CN115827008B
公开(公告)日:2023-05-12
申请号:CN202310108301.5
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要: 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统,其特征在于,包括:镜像管理模块,用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库;容器部署模块,用于根据用户配置生成临时镜像和自动化部署脚本,通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署;集群监控模块,用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控;网络管理模块,用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
公开(公告)号:CN115801877A
公开(公告)日:2023-03-14
申请号:CN202211425720.3
申请日:2022-11-15
申请人: 联洋国融(北京)科技有限公司
IPC分类号: H04L67/562 , H04L47/24 , H04L67/5651 , H04L67/568 , H04L67/06
摘要: 本发明公开了一种数据传输平台及方法。该数据传输平台部署在每个集群内,每个数据传输平台均包括一个调度器和至少一个节点;调度器通过各个节点选举实现单例,用于对数据传输任务进行统一流控和优先级调度;每个节点均包括接待员、传输客户端和传输服务端;接待员用于接收调度客户端下发的数据传输任务并转发给调度器;传输客户端用于接收并执行调度器下发的数据传输任务;传输服务端用于接收传输客户端传输的数据。调度器能够对数据传输任务进行统一流控和优先级调度,保证在多用户同时传输文件时依然不会占满集群间的网络带宽,保障业务优先级较高的文件优先传输;调度器通过众节点选举实现单例,当该节点故障时会重新选举,实现高可用调度。
-
公开(公告)号:CN115827008A
公开(公告)日:2023-03-21
申请号:CN202310108301.5
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要: 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统,其特征在于,包括:镜像管理模块,用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库;容器部署模块,用于根据用户配置生成临时镜像和自动化部署脚本,通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署;集群监控模块,用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控;网络管理模块,用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
公开(公告)号:CN115687329A
公开(公告)日:2023-02-03
申请号:CN202211427523.5
申请日:2022-11-15
申请人: 联洋国融(北京)科技有限公司
IPC分类号: G06F16/215 , G06F21/62 , G06F21/60
摘要: 本申请公开了一种基于隐私计算处理多数据源缺失值的填充方法及装置,方法包括:向数据源平台发送查询数据授权请求;数据源平台确认授权后返回确认授权信息;接收数据源平台返回的确认授权信息后查询数据,得到数据源的缺失样本和非缺失样本的真实坏率;通过隐私求交获取缺失样本在不同客群的好坏比;根据缺失样本在不同客群的好坏比调整数据源中各个客群的好环比;根据调整后的各个客群的好坏比和非缺失样本的真实坏率填充数据源的缺失值。本申请提供的基于隐私计算处理多数据源缺失值的填充方法及装置,能够完整的得到建模样本在各个数据源缺失部分的信息丢失,最大程度上还原了缺失客群的风险表现,为后续的建模性能带来较好提升。
-
公开(公告)号:CN117609497A
公开(公告)日:2024-02-27
申请号:CN202311343043.5
申请日:2023-10-17
申请人: 国家计算机网络与信息安全管理中心 , 中网数安(北京)科技有限公司 , 联洋国融(北京)科技有限公司
IPC分类号: G06F16/35 , G06F18/214 , G06F18/22 , G06F18/2431
摘要: 本发明提供一种文本有害内容无监督识别方法及装置。所述方法包括:获取待识别的多个文本,计算每个待识别文本的特征向量;计算有害文本分类库中每个有害文本类别的特征向量,有害文本分类库包括每种有害文本类别的标识词;计算待识别文本的特征向量与每个有害文本类别的特征向量的相似度,若所述相似度的最大值超过设定阈值,则所述最大值对应的有害文本类别为所述待识别文本的类别。本发明通过构建有害文本分类库,并通过相似度计算,能够对文本中的有害内容进行无监督识别,解决了基于有监督学习的现有识别方法存在的需要不断地对新的大量文本数据进行标注,耗费大量的人工和时间的问题。
-
公开(公告)号:CN116204888B
公开(公告)日:2023-10-27
申请号:CN202310219036.8
申请日:2023-03-01
申请人: 联洋国融(北京)科技有限公司
IPC分类号: G06F21/57 , G06F21/62 , G06F16/903 , G06N20/00 , G06F18/25
摘要: 本发明公开了一种基于隐私计算的数据源融合评估方法及系统,查询获取多个数据源的特征数据,并通过对机器学习模型进行训练计算得到每个数据源的评分auc;对各个数据源的评分auc进行排序,根据排序结果并结合各数据源的重要性筛选出排序靠后但必要选取的重要数据源;通过隐私求交的方式获取重要数据源新的变量x和标签y,通过新的变量x和标签y对机器学习模型进行重新训练,计算出重要数据源新的评分auc;根据新的评分auc,重新对各个数据源的评分auc进行排序,筛选出前N个数据源。可以在不需要数据源迭代的基础上,完成挑选出满足数据源维度充足且准确性能更好的数据源,最终使得融合评分整体的准确性提升。
-
公开(公告)号:CN116204888A
公开(公告)日:2023-06-02
申请号:CN202310219036.8
申请日:2023-03-01
申请人: 联洋国融(北京)科技有限公司
IPC分类号: G06F21/57 , G06F21/62 , G06F16/903 , G06N20/00 , G06F18/25
摘要: 本发明公开了一种基于隐私计算的数据源融合评估方法及系统,查询获取多个数据源的特征数据,并通过对机器学习模型进行训练计算得到每个数据源的评分auc;对各个数据源的评分auc进行排序,根据排序结果并结合各数据源的重要性筛选出排序靠后但必要选取的重要数据源;通过隐私求交的方式获取重要数据源新的变量x和标签y,通过新的变量x和标签y对机器学习模型进行重新训练,计算出重要数据源新的评分auc;根据新的评分auc,重新对各个数据源的评分auc进行排序,筛选出前N个数据源。可以在不需要数据源迭代的基础上,完成挑选出满足数据源维度充足且准确性能更好的数据源,最终使得融合评分整体的准确性提升。
-
公开(公告)号:CN115687329B
公开(公告)日:2023-05-30
申请号:CN202211427523.5
申请日:2022-11-15
申请人: 联洋国融(北京)科技有限公司
IPC分类号: G06F16/215 , G06F21/62 , G06F21/60
摘要: 本申请公开了一种基于隐私计算处理多数据源缺失值的填充方法及装置,方法包括:向数据源平台发送查询数据授权请求;数据源平台确认授权后返回确认授权信息;接收数据源平台返回的确认授权信息后查询数据,得到数据源的缺失样本和非缺失样本的真实坏率;通过隐私求交获取缺失样本在不同客群的好坏比;根据缺失样本在不同客群的好坏比调整数据源中各个客群的好环比;根据调整后的各个客群的好坏比和非缺失样本的真实坏率填充数据源的缺失值。本申请提供的基于隐私计算处理多数据源缺失值的填充方法及装置,能够完整的得到建模样本在各个数据源缺失部分的信息丢失,最大程度上还原了缺失客群的风险表现,为后续的建模性能带来较好提升。
-
-
-
-
-
-
-