一种clickhouse实时数据流负载均衡方法及系统

    公开(公告)号:CN115665161B

    公开(公告)日:2024-04-02

    申请号:CN202211265815.3

    申请日:2022-10-17

    Abstract: 本发明属于数据处理技术领域,具体涉及一种clickhouse实时数据流负载均衡方法及系统;该方法包括:采集clickhouse物理集群节点负载数据,构建一致性哈希多环结构,得到集群数据流的路由策略;根据clickhouse物理集群节点负载数据构建流量分发矩阵;根据流量分发矩阵,采用人工蜂群算法定期寻找流量分发的最优值,得到数据流量负载策略;根据路由策略和数据流量负载策略,采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度;本发明可均衡各存储节点数据存储量,提高流量分发效率和存储性能,实用性高。

    具有时变特性的耦合网络中社会传染的动态消息传递方法

    公开(公告)号:CN114978928A

    公开(公告)日:2022-08-30

    申请号:CN202210434908.8

    申请日:2022-04-24

    Inventor: 苏贞 李小玉

    Abstract: 本发明请求保护一种具有时变特性的耦合网络中社会传染的动态消息传递方法,属于协同进化动力学,社会传染、非马可夫过程等技术领域。步骤如下:步骤1:在个体驱动模型的基础上,提出一个时变多重网络的非马尔可夫社会传染模型,描述多层耦合网络中的信息和社会行为扩散过程。步骤2:使用动态消息传递理论描述时变多重网络上的非马尔可夫社会传染模型。步骤3:计算任意度分布网络的精确解。取代计算每个节点的信息,假设这些消息传递服从一定的分布概率,并基于消息传递的平均行为更新分布,计算出边缘分布,最后在任意时间步长计算网络处于任何状态的节点的比例。

    一种clickhouse实时数据流负载均衡方法及系统

    公开(公告)号:CN115665161A

    公开(公告)日:2023-01-31

    申请号:CN202211265815.3

    申请日:2022-10-17

    Abstract: 本发明属于数据处理技术领域,具体涉及一种clickhouse实时数据流负载均衡方法及系统;该方法包括:采集clickhouse物理集群节点负载数据,构建一致性哈希多环结构,得到集群数据流的路由策略;根据clickhouse物理集群节点负载数据构建流量分发矩阵;根据流量分发矩阵,采用人工蜂群算法定期寻找流量分发的最优值,得到数据流量负载策略;根据路由策略和数据流量负载策略,采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度;本发明可均衡各存储节点数据存储量,提高流量分发效率和存储性能,实用性高。

    一种基于客户端自知识蒸馏的个性化联邦学习实现方法

    公开(公告)号:CN119578512A

    公开(公告)日:2025-03-07

    申请号:CN202411702116.X

    申请日:2024-11-26

    Inventor: 苏贞 何万尧

    Abstract: 本发明公开一种基于客户端自知识蒸馏的个性化联邦学习实现方法。该方法包括:服务端初始化模型并下发给所有客户端;服务端在一个新的通信轮次开始时,向客户端下发全局模型;客户端接收到全局模型后,通过本地聚合模块来更新其本地模型;客户端本地模型参数训练时,通过知识蒸馏将历史个性化模型的知识迁移到当前本地模型中,并动态调整蒸馏损失比重;客户端完成训练后,更新历史个性化模型同时向服务端发送本地模型的参数;服务端根据客户端发送的模型参数加权平均得到新的模型,用于下一个通信轮次的训练;本发明在数据异构的背景下,在不额外增加通信开销的前提下,提高了个性化联邦学习的性能。

    一种基于图卷积神经网络的社区发现方法及系统

    公开(公告)号:CN116416079A

    公开(公告)日:2023-07-11

    申请号:CN202310210933.2

    申请日:2023-03-07

    Abstract: 本发明为一种基于图卷积神经网络的社区发现方法及系统,建造了一种基于图卷积神经网络的深度学习模型,通过使用Louvain算法检测在t1和t2时刻网络中的社团,结合计算团体在t1和t2时的互信息,能够充分评估和衡量图卷积神经网络模型的性能;同时配合参数敏感性分析,从而充分利用动态网络的拓扑结构和网络中节点所附带的内容信息,使得基于该图卷积神经网络模型的社区发现方法提高了社区发现的效率,相较于现有的方法具有更好的客观性和可操作性,对于寻找更加准确的社区结构具有重要意义。

    一种基于动量加速和误差反馈的联邦学习三元量化方法

    公开(公告)号:CN119761428A

    公开(公告)日:2025-04-04

    申请号:CN202411827807.2

    申请日:2024-12-12

    Abstract: 本发明属于联邦学习通信开销优化领域,具体涉及一种基于动量加速和误差反馈的联邦学习三元量化方法,该方法包括:中央服务器下发模型参数,随机采样部分客户端接收模型,客户端本地进行模型更新,计算更新后的模型与更新前模型之间的差异Δ,将该差异Δ与误差e通过Ternary量化方法计算得到最后的压缩结果,更新本轮新误差,最后将压缩结果上传到中央服务器,服务器聚合参数后通过动量加速算法更新全局模型,以此执行多个轮次,最终得到训练好的目标模型。本发明在联邦学习基线模型上使用Ternary量化方法,大大降低了传输模型的开销,同时结合Adam动量加速和误差反馈机制,保证在降低通信开销的情况下,模型依然能快速收敛。

    一种基于命名实体的敏感数据持续识别方法及系统

    公开(公告)号:CN117744133A

    公开(公告)日:2024-03-22

    申请号:CN202311567771.4

    申请日:2023-11-21

    Inventor: 苏贞 孙宏炜

    Abstract: 本发明属于数据安全技术领域,具体涉及一种基于命名实体的敏感数据持续识别方法及系统;该方法包括:获取带标签的文本数据并对其进行预处理,得到待识别向量;将待识别向量输入到初始敏感数据持续识别模型中进行处理,得到敏感实体概率矩阵;根据敏感实体概率矩阵识别出敏感实体并存储未识别出的实体对应的文本数据;将足量的存储文本数据作为新训练数据集并采用蒸馏学习训练得到新的敏感数据持续识别模型即训练好的敏感数据持续识别模型可以不断完善模型的识别能力,有效提高敏感实体识别的召回率可以不断完善模型的识别能力,有效提高敏感实体识别的召回率,在实际业务中达到针对敏感数据的持续识别效果。

    一种电网关键节点的识别方法、装置及系统

    公开(公告)号:CN112487658B

    公开(公告)日:2022-09-16

    申请号:CN202011468470.2

    申请日:2020-12-14

    Abstract: 本发明属于电力数据处理领域,涉及一种电网关键节点的识别方法、装置及系统;所述方法包括按照电网中电力节点注入功率和线路传输功率的有效性规则,构建出功率有效性的电网拓扑结构;在所述电网拓扑结构中,计算出电力节点的平均电气距离以及电气介数中心,并分别分配权重向量,构建出节点的关键度评估模型;按照所述关键度评估模型计算出电力节点核值,根据电力节点核值所属的区间进行递归网络分解,将最后一层子网络所包含的电力节点作为识别出的关键节点集合。本发明根据一系列规则挖掘出大型电力系统的规则特性,构建出规范的电网拓扑结构,又综合考虑了电力系统的网络特性和电气特性,建立了基于多因素的电网关键节点识别模型,提升了复杂电网系统中关键节点识别的效率和准确性。

    一种电网关键节点的识别方法、装置及系统

    公开(公告)号:CN112487658A

    公开(公告)日:2021-03-12

    申请号:CN202011468470.2

    申请日:2020-12-14

    Abstract: 本发明属于电力数据处理领域,涉及一种电网关键节点的识别方法、装置及系统;所述方法包括按照电网中电力节点注入功率和线路传输功率的有效性规则,构建出功率有效性的电网拓扑结构;在所述电网拓扑结构中,计算出电力节点的平均电气距离以及电气介数中心,并分别分配权重向量,构建出节点的关键度评估模型;按照所述关键度评估模型计算出电力节点核值,根据电力节点核值所属的区间进行递归网络分解,将最后一层子网络所包含的电力节点作为识别出的关键节点集合。本发明根据一系列规则挖掘出大型电力系统的规则特性,构建出规范的电网拓扑结构,又综合考虑了电力系统的网络特性和电气特性,建立了基于多因素的电网关键节点识别模型,提升了复杂电网系统中关键节点识别的效率和准确性。

    基于知识迁移的自适应聚类联邦学习方法

    公开(公告)号:CN119761533A

    公开(公告)日:2025-04-04

    申请号:CN202411827731.3

    申请日:2024-12-12

    Abstract: 本发明提供一种基于知识迁移的自适应聚类联邦学习方法。中央服务器在每一轮训练中,服务器根据客户模型参数计算相似度矩阵,对客户端进行自适应聚类分组;对于同一组内的客户端模型参数进行加权平均聚合,得到组内模型;通过知识迁移策略,对组模型进行优化,促进不同组之间的知识共享,加快合并聚类过程;自适应聚类完成后,进行组内联邦训练。服务器将组内客户端的模型参数进行联邦平均聚合,更新组模型。将本地数据输入更新后的模型,得到预测结果;构建预测结果与真实标签之间的损失函数,以最小化损失为目标,重复训练步骤。本发明提供的训练方法能够有效解决数据异质性带来的偏差和难以收敛的问题,提升模型的个性化和泛化性能。

Patent Agency Ranking