-
公开(公告)号：CN109635945A
公开(公告)日：2019-04-16
申请号：CN201811389548.4
申请日：2018-11-21
Applicant: 华中科技大学
CPC classification number: G06N3/08 , G06K9/6267 , G06N3/084
Abstract: 本发明公开了一种用于图像分类的深度神经网络的训练方法，在神经网络的训练过程中，对隐藏层的类型进行划分，根据特征图迁移成本和计算成本的大小关系，将神经网络中的隐藏层分为计算敏感型层和迁移敏感型层，由于计算敏感型层的特征图的计算成本较高，故对其使用迁移方式处理，在降低内存成本的同时保持较小的性能开销，同理，对迁移敏感型层使用重新计算方式处理特征图。对于后向计算过程中的梯度图，使用引用计数方式跟踪每个梯度图的依赖关系，当其引用计数为0时，将其使用的内存空间回收并留给其他梯度图复用。通过对特征图和梯度图的优化，与标准的反向传播算法相比，能够显著降低神经网络训练时的内存成本，同时保持较小的性能开销。
-
公开(公告)号：CN102231164B
公开(公告)日：2012-10-10
申请号：CN201110188891.4
申请日：2011-07-06
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 本发明公开了一种面向多学科虚拟实验平台的XML增量传输与交互方法，属于计算机应用领域。初始化时，服务端将初始场景XML数据缓存和写入磁盘，并建立缓存和文件索引。客户端检测用户的实验操作动作，并将实验命令以及增量的数据封装起来，发送到服务端。解析实验命令，如果是智能指导命令，根据增量数据和缓存的XML数据生成新的XML数据，更新缓存、磁盘文件以及相应的索引，并进行智能指导服务，如果是回退场景命令，根据回退次数和索引信息找到对应的虚拟实验场景XML文件，如果是其它命令，则从缓存中获取XML数据，并发送至相应的应用服务器。否则将服务端得到的处理结果发送至客户端。本发明可以减少虚拟实验交互过程中的数据传输量，保证整个实验过程的实时性。
-
公开(公告)号：CN101242430B
公开(公告)日：2012-03-28
申请号：CN200810046923.5
申请日：2008-02-22
Applicant: 华中科技大学
Abstract: 本发明公开了对等网络点播系统中的定点数据预取方法，流程如下：①结合用户行为和体验改善的分析，确定定点设置的时间间隔；并通过文件分析器解析媒体头文件和数据文件，记录元数据信息，并创建相应的索引文件；②根据媒体索引文件的信息，在确保当前播放数据获取的条件下，利用剩余带宽，以“最小冗余度优先”的原则从伙伴节点或源服务器获得预取点数据；③客户端根据用户的拖动位置，结合当前频道缓存窗口中媒体数据获取的状况，自动调整播放位置到用户指定的时间点，或者最邻近的预取点。本发明基于对用户行为的观测，并充分利用对等网络的特点，实现定点数据的有效共享，降低了流媒体服务器的带宽消耗，改善用户的观看体验，适合于大规模的应用。
-
公开(公告)号：CN101247197B
公开(公告)日：2010-06-09
申请号：CN200810046972.9
申请日：2008-02-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种混合网络直播系统中无线组播代理方法，步骤为：①节点加入到频道的组播地址，若没收到无线组播代理的心跳包就初始化为组播代理，否则竞争决定新的组播代理。②无线组播代理与广播源及有线节点交互传输，将收到的缓冲数据组播给本无线网络中的一般无线节点，响应其数据请求；③一般无线节点根据组播代理发出的心跳包初始化缓冲区，并根据缓冲区填充情况向代理请求数据。④一般无线节点如果漫游进入新网络，若新网络中存在组播代理则仍可接受服务，否则自身转为组播代理。⑤如果无线组播代理漫游出原网络，则原网络所有一般无线节点竞争选出新的组播代理，新网络若存在组播代理，则竞争确定新的组播代理，否则保持作为组播代理。
-
公开(公告)号：CN101242430A
公开(公告)日：2008-08-13
申请号：CN200810046923.5
申请日：2008-02-22
Applicant: 华中科技大学
Abstract: 本发明公开了对等网络点播系统中的定点数据预取方法，流程如下：①结合用户行为和体验改善的分析，确定定点设置的时间间隔；并通过文件分析器解析媒体头文件和数据文件，记录元数据信息，并创建相应的索引文件；②根据媒体索引文件的信息，在确保当前播放数据获取的条件下，利用剩余带宽，以“最小冗余度优先”的原则从伙伴节点或源服务器获得预取点数据；③客户端根据用户的拖动位置，结合当前频道缓存窗口中媒体数据获取的状况，自动调整播放位置到用户指定的时间点，或者最邻近的预取点。本发明基于对用户行为的观测，并充分利用对等网络的特点，实现定点数据的有效共享，降低了流媒体服务器的带宽消耗，改善用户的观看体验，适合于大规模的应用。
-
Patent Agency Ranking
公开(公告)号：CN101217565A
公开(公告)日：2008-07-09
申请号：CN200810046630.7
申请日：2008-01-04
Applicant: 华中科技大学
Abstract: 本发明公开了一种对等网络视频共享系统中分类检索的网络组织方法，各节点执行以下步骤：①初始化超节点列表，邻居列表；②判定自己所属的超节点类型，向超节点索引服务器请求同类的超节点列表；③判断超节点列表中各节点与本节点的索引是否重合度比较小；④将超节点列表中的索引重合度小的节点加入邻居节点列表；⑤判断当次与上次发送信息的时间间隔是否达到交流周期；⑥超节点与“邻居”节点交换更新信息和拓扑维护信息；⑦判断是否接到退出请求。本发明方法由超节点判断本节点所属的类型，并将本类中索引重合度小的节点加为邻居节点。该方法具有检索速度快，网络拓扑结构稳定，基于用户兴趣自适应调整的特点。
-
公开(公告)号：CN119645583A
公开(公告)日：2025-03-18
申请号：CN202411499609.8
申请日：2024-10-24
Applicant: 华中科技大学
Abstract: 本发明涉及一种智能化的多算子交叉调度方法及系统，方法包括：收集算子的运行时特征，确定各个算子应当划分的Subkernel数量，并构建以Subkernel为单位的执行流图，明确Subkernel之间的依赖关系；根据算子优先级PR和调度策略选择执行流图中无前置依赖的Subkernel节点进行调度；将对应的算子指令从指令缓存单元加载至指令存储单元，确保所有必要的指令已经加载；在PE阵列处理单元执行Subkernel并更新执行流图，迭代进行直到任务结束。本发明通过数据切割进行更细粒度的Subkernel调度，Subkernel间可以动态切换和交叉调度，提高任务执行的灵活性。
-
公开(公告)号：CN111027671B
公开(公告)日：2023-07-04
申请号：CN201911105252.X
申请日：2019-11-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于模型结构特性的分布式深度学习通信方法和系统，属于深度学习领域。包括：使用分布式集群预训练深度神经网络模型，对于每台机器，计算各层网络之前所有层的前向计算与后向计算所用时间总和Tij，对于每个server，对在[min{ti′j},min{ti′j+Ti′j})期间收集到的第j层网络梯度，在min{ti′j+Ti′j}时间点进行累加，并用累加梯度更新权值参数。本发明根据网络各层的前向计算与后向计算所需时间及在网络位置，限制server接收梯度的时间，实现多机间的软同步，对每一层采用不同的同步节点个数，消除迭代计算中等待时间。根据梯度的陈旧度对其缩放，减小陈旧梯度的影响，在保证训练精度的前提下，提高分布式深度学习通信效率，加快训练速度。
-
公开(公告)号：CN107018184B
公开(公告)日：2019-08-30
申请号：CN201710191685.6
申请日：2017-03-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种分布式深度神经网络集群分组同步优化方法及系统，其中，方法的实现包括：对集群中的节点按性能分组、训练数据按节点性能分配、同组内使用同步并行机制、不同组间使用异步并行机制和不同组间使用不同的学习率。将性能相近的节点分为一组，可以减小同步开销；性能好的节点分配更多的训练数据，可以提高其资源利用率；在同步开销小的组内使用同步并行机制，可以发挥同步并行机制收敛效果好的优点；在同步开销大的组间使用异步并行机制，可以避免同步开销；对不同分组使用不同的学习率，有利于模型收敛。本发明针对异构集群中分布式深度神经网络的参数同步过程，使用了分组同步方法，大大提高了模型的收敛速度。
-
公开(公告)号：CN109635922A
公开(公告)日：2019-04-16
申请号：CN201811382970.7
申请日：2018-11-20
Applicant: 华中科技大学
IPC: G06N3/04
CPC classification number: G06N3/0454
Abstract: 本发明公开了一种基于离散余弦变换的分布式深度学习参数量化通信优化方法及系统，将分布式深度学习中的梯度值进行离散余弦变换后，再压缩处理，更新权重时反量化操作，形成一种通信高效的分布式深度学习系统。在工作节点发送梯度数据到参数服务器之前，采用梯度划分、GPU并行计算、离散余弦变换与量化及高频滤波压缩方法处理梯度值，然后推送至参数服务器。工作节点通过拉取操作，从参数服务器得到权重之后，采用离散余弦反变换与反量化、误差补偿更新方法更新当前工作节点上的权重。本发明能够有效提升现有的分布式深度学习框架中，工作节点和参数服务器之间的通信效率，提高模型训练速度。
-
-
-
-
-
-
-
-
-
Search Results
43
records
(took 0.026 seconds)
