-
公开(公告)号:CN113449153A
公开(公告)日:2021-09-28
申请号:CN202110720858.5
申请日:2021-06-28
Applicant: 湖南大学
IPC: G06F16/901
Abstract: 本申请涉及一种索引构建方法、装置、计算机设备和存储介质。所述方法包括:获取DAG图和DAG图的分区结果,将DAG图按照分区结果存储至预设分布式图计算系统,得到各DAG分区的图数据结构,对各DAG分区中的顶点进行排序,并行构建各DAG分区的内部点的2‑hop索引和边界点的2‑hop索引,重构各DAG分区的边界点的之间路径,根据各DAG分区的图数据结构和各DAG分区的边界点之间的路径,构建边界图,再基于边界图重构边界点的2‑hop索引,并将重构后的边界点的2‑hop索引划分至各边界点所在的DAG分区。采用本方法构建的索引进行分布式批量可达性查询,能够提高查询效率。
-
公开(公告)号:CN111046673B
公开(公告)日:2021-09-03
申请号:CN201911296950.2
申请日:2019-12-17
Applicant: 湖南大学
Abstract: 本发明公开了一种用于防御文本恶意样本的对抗生成网络及其训练方法,利用对抗生成网络框架中的生成模型(Generator)和判别模型(Discriminator)进行恶意样本的防御与生成。生成器部分由自编码器(Auto‑encoder)构成,将离散的文本数据映射到连续的高维隐藏空间中,由此生成器可以利用隐藏向量生成恶意文本。判别器即判别模型,用于识别数据。生成模型生成的恶意文本将被打上真实标签与真实样本同时输入判别模型中,来进行判别模型的训练。加入恶意样本训练的判别模型能够对文本数据准确高效的识别。生成模型利用判别模型对恶意样本的评估分数以及文本数据与恶意样本的差别进行训练,来生成攻击力更强的恶意样本。由于训练过程中恶意样本的加入和对抗性的网络训练过程,网络识别文本数据能力和抗干扰性、防御能力都大幅提升。
-
公开(公告)号:CN112612613A
公开(公告)日:2021-04-06
申请号:CN202011574923.X
申请日:2020-12-28
Applicant: 湖南大学
Abstract: 本发明公开了一种虚拟分布式异构环境下实现多GPU调度的方法,其根据OpenStack创建的虚拟环境下的GPU集群,将GPU本地任务划分为更细粒度的GPU本地子任务,然后根据数据本地性以及从节点上所有GPU的流状态和内存资源状态将GPU本地子任务调度到指定GPU上执行,并对超过GPU硬件工作队列数量的CUDA流进一步调整主机调度任务的顺序消除“虚假依赖”,以及对机器学习/深度学习每次迭代产生的中间数据进一步处理来提高GPU内存利用率从而充分平衡各个GPU上的工作负载,降低OpenStack创建的虚拟环境下GPU应用程序的执行时间。本发明能解决现有分布式异构OpenStack处理框架创建的多GPU环境中存在的吞吐量低、无法有效利用多个GPU、以及由于缺乏有效GPU负载均衡策略导致时间开销大的技术问题。
-
公开(公告)号:CN110321476B
公开(公告)日:2021-04-02
申请号:CN201910428131.2
申请日:2019-05-21
Applicant: 湖南大学
IPC: G06F16/9535 , G06Q30/06 , G06F16/22 , G06F9/50
Abstract: 本发明提供了一种基于局部敏感哈希的并行矩阵分解计算实现方法。所述方法包括如下步骤:根据评分矩阵计算评分平均值u,随机初始化用户偏执项bu、项目偏执项bi、用户因子pu、项目因子qi及邻域模型因子w和隐式反馈因子c,并分配CPU和GPU的内存空间;将CPU内存数据转移到GPU的全局内存;通过GPU编程语言CUDA分别实现对每个项目的评分计算其哈希值、对多次哈希值都相等的项目两两计算相似度值,计算每个项目的最相似的TOP‑K个相似项目及对bu、bi、pu、qi、w和c进行更新;根据所需精度要求确定学习速率以及迭代次数;将GPU全局内存数据转移到CPU内存;处理结果展示。与相关技术相比,本发明的基于局部敏感哈希的并行矩阵分解计算实现方法提高计算效率。
-
公开(公告)号:CN111400555A
公开(公告)日:2020-07-10
申请号:CN202010147602.5
申请日:2020-03-05
Applicant: 湖南大学
IPC: G06F16/901 , G06F16/903 , G06F9/50
Abstract: 本申请涉及一种图数据查询任务处理方法、装置、计算机设备和存储介质。所述方法包括:获取图数据集和图数据查询任务集,图数据集为分布式存储于多台机器节点的图数据结构的集合,识别图数据集的图数据类型,根据图数据类型,计算图数据查询任务集中两两查询任务间的相似度或差异度,基于两两查询任务间的相似度或差异度,将图数据查询任务集划分为多个图数据查询任务子集,将图数据查询任务子集输入预设分布式图查询系统,得到对应的查询结果。采用本方案解决了在分布式系统中处理批量任务时的负载均衡问题,同时优化了串行执行查询任务低效问题和并行资源利用率低的问题,提高查询任务执行效率,缓解查询实时性需求问题。
-
公开(公告)号:CN111045987A
公开(公告)日:2020-04-21
申请号:CN201911296941.3
申请日:2019-12-17
Applicant: 湖南大学
IPC: G06F16/13 , G06F16/182 , G06K9/62
Abstract: 本发明公开了一种基于Ceph分布式文件系统加速元数据访问的方法,包括:利用时间戳链表获取每个文件元数据的访问次数;采集每个元数据的时间属性和访问次数;重复使用K-Means算法对这些元数据进行聚类,找到两个聚类中心点;利用上述两个聚类中心,设置预取门槛值,当某个文件的点击次数达到门槛值就去MDS预取。并在MDS服务器中选择符合要求的元数据;本发明能够解决现有Ceph分布式文件系统元数据访问机制中存在的缓存命中率低、元数据传输次数过多、元数据的查询效率低的技术问题。
-
公开(公告)号:CN110955732A
公开(公告)日:2020-04-03
申请号:CN201911294970.6
申请日:2019-12-16
Applicant: 湖南大学
Abstract: 本发明公开了一种用于在Spark环境中实现分区负载均衡的方法,包括:接收用户发送的Spark应用程序,对该Spark应用程序进行解析,以得到表征多个弹性分布式数据集RDD之间关系的RDD图、以及调度阶段的有向无环图DAG,根据DAG图依次确定每两个相邻调度阶段之间的依赖关系,并对得到的所有依赖关系中的宽依赖关系进行编号,设置计数器cnt=1,判断cnt是否大于宽依赖关系的总数,如果不是则对第cnt个宽依赖关系对应的Map端中最后一个RDD中的所有分区中的数据进行采样,以得到表征数据键分布的、每个分区对应的哈希表,将得到的所有分区对应的哈希表进行合并。本发明能够在解决大数据计算中数据倾斜问题的同时,优化计算资源的分配,缩短程序运行时间。
-
公开(公告)号:CN110263707A
公开(公告)日:2019-09-20
申请号:CN201910531711.4
申请日:2019-06-19
Applicant: 湖南大学
Abstract: 本申请具体涉及一种图像识别方法、装置、计算机设备和存储介质。方法包括:通过获取待识别图像,并将待识别图像输入训练完成的深度卷积神经网络;其中深度卷积神经网络通过在卷积层进行数据并行,而在全连阶层进行模型并行的训练方案训练获得。本申请图像识别方法通过在深度卷积神经网络的训练过程中,通过在卷积层采取数据并行,在全连接层进行模型并行的训练方法,通过多重并行训练缩短有效地缩短了深度卷积神经网络的训练周期,进而整体提高了图像识别过程的处理效率。
-
公开(公告)号:CN110162716A
公开(公告)日:2019-08-23
申请号:CN201910421573.4
申请日:2019-05-21
Applicant: 湖南大学
IPC: G06F16/9536 , G06Q50/00
Abstract: 本发明公开了一种基于社区检索的影响力社区搜索方法,通过启发式方法设置权重的初始阈值对网络进行筛选生成子图从而减小其规模达到减少计算成本的目的;在子图的基础上通过生成树判断关键节点的连通性,从而统计社区数量;对于不满足查询条件的阈值,对其进行增量迭代直至其满足查询条件;最后根据查询条件渐进的输出影响力最大社区,避免了重复的枚举社区数目。本发明弥补了现有社区检索技术方面的不足,但保留了其优势,使得社区检索技术变得完美:第一,通过渐进的输出结果有效地减少了重复计算,节省了计算成本;第二,充分考虑了相同权重节点对社区检索的影响,在不影响其检索性能的同时打破了权重的限制条件,扩大了其使用范围。
-
公开(公告)号:CN102075440A
公开(公告)日:2011-05-25
申请号:CN201110043498.6
申请日:2011-02-23
Applicant: 湖南大学
Abstract: 本发明提供一种服务质量敏感的802.11e多媒体数据分组调度方法,针对802.11e中EDCA机制对多媒体数据调度的不公平问题,结合QoS延时敏感性,实时计算多个媒体业务流中数据分组的紧急度,根据紧急度,调整业务流所对应AC队列的参数,改变AC队列优先级,使紧急业务流有更多机会竞争到信道访问权,从而保证紧急业务流相对于高优先级业务流竞争信道的公平性。实验结果证明,紧急业务流分组调度方案中,紧急业务流的带宽需求得到了保证。
-
-
-
-
-
-
-
-
-