申请号: CN202010123789.5
申请日: 2020-02-27
公开(公告)号: CN111275176B
公开(公告)日: 2023-09-26
发明人: 黄鑫; 宋宪政; 王琳
本说明书提供了一种用于运行分析图结构的深度学习模型的分布式计算方法和系统。所述分布式计算系统中的至少一个计算设备反复迭代执行所述图结构的图嵌入向量更新操作,包括:获取所述图结构中目标节点的目标图嵌入向量;从所述分布式计算系统中的至少一个关联计算设备接收相邻目标图嵌入向量;基于所述目标图嵌入向量和相邻目标图嵌入向量,生成迭代后的目标图嵌入向量;以及将所述迭代后的目标图嵌入向量发送给所述关联计算设备。
更多申请号: CN201610836654.7
申请日: 2016-09-21
公开(公告)号: CN106406985A
公开(公告)日: 2017-02-15
发明人: 张建伟; 张云聪; 王聪; 徐瑶; 文春阳; 黄鑫; 宋展; 朱冠胤
本申请公开了分布式计算框架和分布式计算方法。该分布式计算框架的一具体实施方式包括:解析单元,用于解析分布式计算任务的表达式,确定算子、算子对应的字段;算子单元,用于提供算子,算子的输入参数包括:字段、字段型分布式数据集。实现了任意算子接收和返回的参数的类型均可以为字段型分布式数据集,任意算子均可对字段型分布式数据集中的对应于字段的数据进行操作。从而,任意算子均需实现一次,实现算子的复用。将分布式计算任务以较为简单的表达式显示地表达出来,简化了用户利用的分布式计算框架编写分布式计算程序的复杂度,进一步地,可以通过表达式确定分布式计算中涉及的算子,从而可以对分布式计算过程进行优化。
更多申请号: CN201210152748.4
申请日: 2012-05-16
公开(公告)号: CN103425519A
公开(公告)日: 2013-12-04
发明人: 赵培; 刘汝杰; 岩见田均
本发明公开了一种分布式计算方法和分布式计算系统。该方法包括如下步骤:从等待队列中取出多个任务,作为待分配的新任务,并将其放入当前工作组;确定当前可用计算装置集合,所述当前可用计算装置集合包括分布式计算装置集群中所有当前可用的计算装置;以及将所述待分配的新任务一起分配到所述当前可用计算装置集合中的计算装置,以进行计算。
更多申请号: CN201610836654.7
申请日: 2016-09-21
公开(公告)号: CN106406985B
公开(公告)日: 2019-10-11
发明人: 张建伟; 张云聪; 王聪; 徐瑶; 文春阳; 黄鑫; 宋展; 朱冠胤
本申请公开了分布式计算框架和分布式计算方法。该分布式计算框架的一具体实施方式包括:解析单元,用于解析分布式计算任务的表达式,确定算子、算子对应的字段;算子单元,用于提供算子,算子的输入参数包括:字段、字段型分布式数据集。实现了任意算子接收和返回的参数的类型均可以为字段型分布式数据集,任意算子均可对字段型分布式数据集中的对应于字段的数据进行操作。从而,任意算子均需实现一次,实现算子的复用。将分布式计算任务以较为简单的表达式显示地表达出来,简化了用户利用的分布式计算框架编写分布式计算程序的复杂度,进一步地,可以通过表达式确定分布式计算中涉及的算子,从而可以对分布式计算过程进行优化。
更多申请号: CN202010123789.5
申请日: 2020-02-27
公开(公告)号: CN111275176A
公开(公告)日: 2020-06-12
发明人: 黄鑫; 宋宪政; 王琳
本说明书提供了一种用于运行分析图结构的深度学习模型的分布式计算方法和系统。所述分布式计算系统中的至少一个计算设备反复迭代执行所述图结构的图嵌入向量更新操作,包括:获取所述图结构中目标节点的目标图嵌入向量;从所述分布式计算系统中的至少一个关联计算设备接收相邻目标图嵌入向量;基于所述目标图嵌入向量和相邻目标图嵌入向量,生成迭代后的目标图嵌入向量;以及将所述迭代后的目标图嵌入向量发送给所述关联计算设备。
更多申请号: CN201210152748.4
申请日: 2012-05-16
公开(公告)号: CN103425519B
公开(公告)日: 2016-10-05
发明人: 赵培; 刘汝杰; 岩见田均
本发明公开了一种分布式计算方法和分布式计算系统。该方法包括如下步骤:从等待队列中取出多个任务,作为待分配的新任务,并将其放入当前工作组;确定当前可用计算装置集合,所述当前可用计算装置集合包括分布式计算装置集群中所有当前可用的计算装置;以及将所述待分配的新任务一起分配到所述当前可用计算装置集合中的计算装置,以进行计算。
更多申请号: CN201180069012.4
申请日: 2011-03-04
公开(公告)号: CN103403698A
公开(公告)日: 2013-11-20
发明人: 葛付江; 夏迎炬; 孟遥; 于浩; 贾文杰; 贾晓建
本发明公开一种分布式计算方法和分布式计算系统。根据一个实施例的分布式计算方法包括:对输入任务流进行分布式计算;将所述分布式计算的计算结果进行归约;以及将所归约的计算结果存储到归约缓存中。根据一个实施例的分布式计算系统包括:分布式计算装置,用于进行分布式计算;多个归约单元,所述归约单元用于对所述分布式计算的计算结果进行归约处理;一个或更多个归约缓存,用于存储归约的计算结果;以及归约控制装置,用于控制所述计算结果到所述归约缓存的归约及对归约缓存的访问。
更多申请号: CN202411688936.8
申请日: 2024-11-25
公开(公告)号: CN119167409A
公开(公告)日: 2024-12-20
发明人: 冯国宝; 卢成翔; 蔡剑峰
本申请涉及一种分布式计算服务器及分布式计算系统,包括服务器主柜,服务器主柜包括至少两个第一计算模组和第一网络交换模块;各个第一计算模组通过网络总线与第一网络交换模块连接;第一网络交换模块,用于基于同一个地址,对经过第一网络交换模块的网络数据进行路由和转发,并分配计算任务;网络数据包括待计算数据和计算结果;第一计算模组用于基于第一网络交换模块获取计算任务和待计算数据,并针对待计算数据执行计算任务,得到计算结果,将计算结果通过第一网络交换模块进行发送,解决了现有的计算服务器的对CPU性能要求高,将大量的数据接入及转发的工作分摊到各个计算模组和网络交换模块,降低了CPU的负担和功耗。
更多申请号: CN201910924175.4
申请日: 2019-09-27
公开(公告)号: CN110704693A
公开(公告)日: 2020-01-17
发明人: 武永卫; 陈康; 姜进磊; 李雪; 章明星
分布式图计算系统和方法,系统包括多个计算机和数据库,每台计算机上具有一个或多个计算结点,首先进行初始化,各个计算结点分别从数据库中读取不相交的原图的一部分边;主体计算流程,采用以子图为中心的迭代化计算方法,同时加入图缩减和重新划分过程以加速收敛,其中每轮迭代包含以下步骤:重新划分步骤,在每轮迭代的开始,首先对当前计算的图进行重新划分;本地计算步骤;缩减步骤,每个计算结点本地计算完成后,删除被判定无用的部分点/边,对原图进行重构;判断剩下的所有边是否能够存储在单个计算结点,为是的情况下,迭代结束,否则返回到重新划分步骤。本发明图计算方技术可以有效减少算法收敛所需的迭代轮数,提高计算效率。
更多申请号: CN201810076940.7
申请日: 2018-01-26
公开(公告)号: CN110083441B
公开(公告)日: 2021-06-04
发明人: 唐剑飞
本发明实施例涉及分布式技术领域,公开了一种分布式计算系统及分布式计算方法。分布式计算系统,包括:任务切分模块及资源调度模块;所述任务切分模块用于将接收到的计算任务切分成若干个计算阶段,并将每个所述计算阶段分成若干个计算分区;所述资源调度模块用于为当前待启动的计算阶段中的计算分区分配资源,以启动所述计算分区,并用于在当前已启动的计算分区中任意一个完成计算,且下一个计算阶段能与当前已启动的计算阶段同时运行时,为所述下一个计算阶段的至少一个计算分区分配资源,以启动所述至少一个计算分区。本发明实施方式相对于现有技术而言,提高了对空闲资源的利用率,减小了整个计算任务的执行时长,提升了执行效率。
更多申请号: CN201810076940.7
申请日: 2018-01-26
公开(公告)号: CN110083441A
公开(公告)日: 2019-08-02
发明人: 唐剑飞
本发明实施例涉及分布式技术领域,公开了一种分布式计算系统及分布式计算方法。分布式计算系统,包括:任务切分模块及资源调度模块;所述任务切分模块用于将接收到的计算任务切分成若干个计算阶段,并将每个所述计算阶段分成若干个计算分区;所述资源调度模块用于为当前待启动的计算阶段中的计算分区分配资源,以启动所述计算分区,并用于在当前已启动的计算分区中任意一个完成计算,且下一个计算阶段能与当前已启动的计算阶段同时运行时,为所述下一个计算阶段的至少一个计算分区分配资源,以启动所述至少一个计算分区。本发明实施方式相对于现有技术而言,提高了对空闲资源的利用率,减小了整个计算任务的执行时长,提升了执行效率。
更多申请号: CN202211455198.3
申请日: 2022-11-21
公开(公告)号: CN115712503A
公开(公告)日: 2023-02-24
发明人: 徐诗雯; 林世福
本申请公开了一种分布式计算框架及分布式计算处理方法,该分布式计算框架包括:分布式计算引擎Spark驱动端、多个Spark从节点和Spring Boot模块;Spring Boot模块包括Spring Boot框架中容器管理的第一对象和至少一个第二对象,各第二对象各自对应一个分布式计算业务逻辑,且,各第二对象对应的分布式计算业务逻辑相互具有差异,第一对象为将Spark驱动端中的SparkSession注入到容器中得到的;第二对象,用于基于其对应的分布式计算业务逻辑,获得分布式计算信息,调用第一对象,以使得第一对象使用Spark驱动端的驱动功能,将所述分布式计算信息发送给各Spark从节点。
更多申请号: CN200580015524.7
申请日: 2005-03-23
公开(公告)号: CN1954587A
公开(公告)日: 2007-04-25
发明人: 内克塔里奥斯·耶奥加拉斯
本发明公开了一种分布式计算机。该分布式计算机根据由用户可修改的事件驱动的组件进程组成的分布式应用程序而进行操作。已知的这种类型的分布式计算机在单台计算机上执行进程的修改,导致作为整体的分布式计算机的操作缺乏鲁棒性。通过为运行分布式应用程序的组件(621)的各台计算机提供组件修改便利性来消除该问题。根据存储在数据库(623)中的策略,来修改组件(621)对事件消息的接收进行响应的操作。为了简化用户在编写这种策略时的工作,还提供了组件细节登记(627),其给出了由组件(621)提供的过程或方法的名称和参数。
更多申请号: CN201610959237.1
申请日: 2016-11-03
公开(公告)号: CN106506490A
公开(公告)日: 2017-03-15
发明人: 李军; 黄海
一种分布式计算控制方法以及分布式计算系统,方法包括:S1、定义节点之间通信的消息格式;S2、各节点基于消息中的目标URL或消息类型寻址:若服务器节点将消息发往客户端节点,则执行S3,若客户端节点将消息发往服务器节点,则执行S4,若客户端节点将消息发往客户端节点,则执行S5;S3、根据消息中的目标URL的节点进程ID或者目标URL的节点名称或者消息类型,找到相应连接并将消息发往客户端节点;S4、将消息中的目标URL置空后,直接发送消息至服务器节点;S5、如果消息中具有完整的目标URL且两个客户端节点的IP地址属于同一个网络,则两个客户端节点直接建立连接并发送消息,否则将消息发往服务器节点并转S3;基于本发明跨局域网的节点也可以相互通信。
更多申请号: CN201480006391.6
申请日: 2014-01-28
公开(公告)号: CN104981781B
公开(公告)日: 2019-04-23
发明人: A·塔马斯; G·贝利耶
分布式计算系统及操作分布式计算系统的方法。一种系统,该系统包括多个服务器和边界服务器。边界服务器接收对可以通过执行任务被完成的事务的请求来识别任务中的第一任务,通过基于第一任务的类型查阅存储在边界服务器的存储器中的路由数据来识别服务器中的初始服务器,以执行第一任务,并且请求初始服务器执行第一任务。响应于从边界服务器接收任务,服务器中的每个将使用唯一地存储在服务器上的相关的数据执行接收到的任务,确定接收到的任务是否需要附加的任务,通过查阅存储在服务器的存储器中的路由数据来识别下一个服务器,以执行附加的任务,并且请求下一个服务器执行附加的任务。
更多申请号: CN201610959237.1
申请日: 2016-11-03
公开(公告)号: CN106506490B
公开(公告)日: 2019-07-09
发明人: 李军; 黄海
一种分布式计算控制方法以及分布式计算系统,方法包括:S1、定义节点之间通信的消息格式;S2、各节点基于消息中的目标URL或消息类型寻址:若服务器节点将消息发往客户端节点,则执行S3,若客户端节点将消息发往服务器节点,则执行S4,若客户端节点将消息发往客户端节点,则执行S5;S3、根据消息中的目标URL的节点进程ID或者目标URL的节点名称或者消息类型,找到相应连接并将消息发往客户端节点;S4、将消息中的目标URL置空后,直接发送消息至服务器节点;S5、如果消息中具有完整的目标URL且两个客户端节点的IP地址属于同一个网络,则两个客户端节点直接建立连接并发送消息,否则将消息发往服务器节点并转S3;基于本发明跨局域网的节点也可以相互通信。
更多申请号: CN202010206865.9
申请日: 2020-03-27
公开(公告)号: CN111459665A
公开(公告)日: 2020-07-28
发明人: 田文龙; 利节
本发明公开了一种分布式边缘计算系统及分布式边缘计算方法,对位于同一个局域网内的主节点和计算节点采用分布式设计,收集计算节点状态信息分配计算资源;将待分析数据根据计算资源预处理和切分;任务管理模块将分析任务分派至各计算节点的节点管理模块,各计算节点的节点管理模块启动运算模块执行运算;运算完成后,将分析结果传回至主节点进行结果汇聚并整理输出到使用方。本发明的优点在于:利用分布式边缘计算系统可以通过增加计算节点的方式动态扩展并行计算单元的运算能力;利用分布式设计的多个计算节点上的运算模块提升并行计算单元的复杂运算分析能力,实现了去中心化、多接口等功能,节省传输时间和成本,降低数据延迟,增强数据安全。
更多申请号: CN202111240681.5
申请日: 2021-10-25
公开(公告)号: CN114024963A
公开(公告)日: 2022-02-08
发明人: 黄永权; 李锦基; 李明东; 田华雨; 龙泽
本发明涉及分布式边缘计算技术领域,且公开了一种分布式边缘计算系统及分布式边缘计算方法,包括分布式计算系统,所述分布式计算系统包括数据汇集系统、数据分发系统、数据运算系统和数据整合系统。本发明中,通过数据汇集系统将外部数据集中在一起,并且再通过数据分发系统将外部的数据分别发送到不同的数据运算系统中,通过数据运算系统,将不同的数据进行同步处理,降低数据处理的时间,提高对数据的处理效率,最后通过数据整合系统将各个数据运算系统得出的数据进行集中在一起,一起向外部输出,降低了处理时间,达到了提高对数据的处理效率的效果。
更多