一种数据传输平台及方法
    2.
    发明公开

    公开(公告)号:CN115801877A

    公开(公告)日:2023-03-14

    申请号:CN202211425720.3

    申请日:2022-11-15

    发明人: 施力 陈明坤

    摘要: 本发明公开了一种数据传输平台及方法。该数据传输平台部署在每个集群内,每个数据传输平台均包括一个调度器和至少一个节点;调度器通过各个节点选举实现单例,用于对数据传输任务进行统一流控和优先级调度;每个节点均包括接待员、传输客户端和传输服务端;接待员用于接收调度客户端下发的数据传输任务并转发给调度器;传输客户端用于接收并执行调度器下发的数据传输任务;传输服务端用于接收传输客户端传输的数据。调度器能够对数据传输任务进行统一流控和优先级调度,保证在多用户同时传输文件时依然不会占满集群间的网络带宽,保障业务优先级较高的文件优先传输;调度器通过众节点选举实现单例,当该节点故障时会重新选举,实现高可用调度。

    基于隐私计算处理多数据源缺失值的填充方法及装置

    公开(公告)号:CN115687329A

    公开(公告)日:2023-02-03

    申请号:CN202211427523.5

    申请日:2022-11-15

    摘要: 本申请公开了一种基于隐私计算处理多数据源缺失值的填充方法及装置,方法包括:向数据源平台发送查询数据授权请求;数据源平台确认授权后返回确认授权信息;接收数据源平台返回的确认授权信息后查询数据,得到数据源的缺失样本和非缺失样本的真实坏率;通过隐私求交获取缺失样本在不同客群的好坏比;根据缺失样本在不同客群的好坏比调整数据源中各个客群的好环比;根据调整后的各个客群的好坏比和非缺失样本的真实坏率填充数据源的缺失值。本申请提供的基于隐私计算处理多数据源缺失值的填充方法及装置,能够完整的得到建模样本在各个数据源缺失部分的信息丢失,最大程度上还原了缺失客群的风险表现,为后续的建模性能带来较好提升。

    一种基于隐私计算的数据源融合评估方法及系统

    公开(公告)号:CN116204888B

    公开(公告)日:2023-10-27

    申请号:CN202310219036.8

    申请日:2023-03-01

    摘要: 本发明公开了一种基于隐私计算的数据源融合评估方法及系统,查询获取多个数据源的特征数据,并通过对机器学习模型进行训练计算得到每个数据源的评分auc;对各个数据源的评分auc进行排序,根据排序结果并结合各数据源的重要性筛选出排序靠后但必要选取的重要数据源;通过隐私求交的方式获取重要数据源新的变量x和标签y,通过新的变量x和标签y对机器学习模型进行重新训练,计算出重要数据源新的评分auc;根据新的评分auc,重新对各个数据源的评分auc进行排序,筛选出前N个数据源。可以在不需要数据源迭代的基础上,完成挑选出满足数据源维度充足且准确性能更好的数据源,最终使得融合评分整体的准确性提升。

    一种基于隐私计算的数据源融合评估方法及系统

    公开(公告)号:CN116204888A

    公开(公告)日:2023-06-02

    申请号:CN202310219036.8

    申请日:2023-03-01

    摘要: 本发明公开了一种基于隐私计算的数据源融合评估方法及系统,查询获取多个数据源的特征数据,并通过对机器学习模型进行训练计算得到每个数据源的评分auc;对各个数据源的评分auc进行排序,根据排序结果并结合各数据源的重要性筛选出排序靠后但必要选取的重要数据源;通过隐私求交的方式获取重要数据源新的变量x和标签y,通过新的变量x和标签y对机器学习模型进行重新训练,计算出重要数据源新的评分auc;根据新的评分auc,重新对各个数据源的评分auc进行排序,筛选出前N个数据源。可以在不需要数据源迭代的基础上,完成挑选出满足数据源维度充足且准确性能更好的数据源,最终使得融合评分整体的准确性提升。

    基于隐私计算处理多数据源缺失值的填充方法及装置

    公开(公告)号:CN115687329B

    公开(公告)日:2023-05-30

    申请号:CN202211427523.5

    申请日:2022-11-15

    摘要: 本申请公开了一种基于隐私计算处理多数据源缺失值的填充方法及装置,方法包括:向数据源平台发送查询数据授权请求;数据源平台确认授权后返回确认授权信息;接收数据源平台返回的确认授权信息后查询数据,得到数据源的缺失样本和非缺失样本的真实坏率;通过隐私求交获取缺失样本在不同客群的好坏比;根据缺失样本在不同客群的好坏比调整数据源中各个客群的好环比;根据调整后的各个客群的好坏比和非缺失样本的真实坏率填充数据源的缺失值。本申请提供的基于隐私计算处理多数据源缺失值的填充方法及装置,能够完整的得到建模样本在各个数据源缺失部分的信息丢失,最大程度上还原了缺失客群的风险表现,为后续的建模性能带来较好提升。