公开(公告)号：CN117875391A

公开(公告)日：2024-04-12

申请号：CN202410039382.2

申请日：2024-01-10

Applicant: 上海浙江大学高等研究院

Inventor： 张龙姣 ,  汪睿 ,  庄永真 ,  罗进开

IPC: G06N3/08 ,  G06N3/042 ,  G06N3/044 ,  G06N3/045 ,  G06F18/241 ,  G06F18/214 ,  G06Q50/00

Abstract: 本发明公开了一种基于分布式的连续时间动态图神经网络训练方法及系统，包括以下步骤：将用于训练的动态社交网络图数据进行子图划分、批次划分、校准以及采样，得到若干个批次的动态社交网络采样子图数据，由每个节点的获取历史时序嵌入和历史交互消息得到每个节点的时序嵌入，当完成一个批次训练过程后，利用每个节点的时序嵌入以及动态社交网络采样子图数据的边特征进行聚合计算，得到每个节点的更新交互消息。本发明的方法通过提供图划分存储、分布式内存同步机制、分布式子图采样和编码‑解码器训练，将单机的连续时间动态图神经网络模型拓展到分布式场景下，解决了在大数据情况下内存资源不足的问题。

公开(公告)号：CN118095343A

公开(公告)日：2024-05-28

申请号：CN202410055535.2

申请日：2024-01-15

Applicant: 上海浙江大学高等研究院

Inventor： 黄文杰 ,  汪睿 ,  庄永真 ,  罗进开

IPC: G06N3/042 ,  G06N3/0464 ,  G06N3/098

Abstract: 本发明公开了一种基于增量聚合策略的分布式图神经网络训练方法，具体步骤如下：对待训练的社交网络图数据进行分块；启动分布式进程组，由GPU对社交网络图数据块进行二次分片，并按照编号对社交网络图数据块分片进行编组，依次将每组社交网络全图数据分片输入到图神经网络中，利用节点更新公式将目标节点未聚合的邻居消息信息进行补全，采用分布式数据并行策略管理所有的图神经网络权重。不断迭代，直至模型收敛，完成基于增量聚合策略的分布式图神经网络训练。为提高迭代训练效率，本发明采用二次分片方式，通过缓存历史嵌入以及增量更新来保证邻居信息的完整性，在减少通信和计算的基础上近似全批量图神经网络训练的效果。