-
公开(公告)号：CN116700988A
公开(公告)日：2023-09-05
申请号：CN202310787387.9
申请日：2023-06-29
Applicant: 河南大学
IPC: G06F9/50
Abstract: 本发明公开一种Spark环境下基于自适应预留内存的数据调度策略，首先判断内存空间是否满足执行任务并行度最优内存的执行条件，如果满足并且发现有任务被阻塞，进行执行内存的重新分配并优先保证任务并行度；其次如果内存中任务运行正常，触发内存的自适应调节算法，对多余的内存进行回收；最后根据内存的分配空间大小控制RDD选择计算代价更低的存储位置，以让出足够的空间优先保证执行内存的空间预留。本发明通过自适应预留执行内存空间，根据任务运行的情况选择压缩或增加分配的执行内存空间，动态保证Spark并行计算框架计算过程中的任务并行度；还根据Spark任务的特性分配内存空间，以保证计算并行性，优化资源利用率。
-
公开(公告)号：CN115145841A
公开(公告)日：2022-10-04
申请号：CN202210843160.7
申请日：2022-07-18
Applicant: 河南大学
IPC: G06F12/0877
Abstract: 本发明提供一种应用于Spark计算平台中的降低内存争用的方法。该方法包括：步骤1：计算内存中所有持久化RDD的价值，并按照价值高低对所有RDD进行排序形成优先队列；步骤2：若监控内存状态获知内存达到瓶颈，则执行步骤3；步骤3：循环释放所述优先队列中价值较低的RDD；步骤4：在进行当前循环释放操作后，若判断获知存在空闲的处理器核，则继续执行步骤3，反之则执行步骤5；步骤5：计算将当前需要持久化的RDD分别持久化至内存中时的内存持久化加速效用和持久化至硬盘中时的硬盘持久化加速效用；步骤6：基于内存持久化加速效用和硬盘持久化加速效用，采用贪心算法求解当前程序中所有需要缓存的RDD的存储位置。
-
公开(公告)号：CN115718767A
公开(公告)日：2023-02-28
申请号：CN202211497936.0
申请日：2022-11-26
Applicant: 河南大学
IPC: G06F16/2455 , G06F16/2453
Abstract: 本发明提供一种面向大数据平台的远程缓存替换方法及装置。该方法包括：在数据库服务器根据用户的数据查询请求进行作业时，监控并采集作业信息；作业信息包括数据库服务器对数据查询请求的数据响应时间、每个待查询数据在设定时间段内的被查询次数和每个待查询数据的数据大小；根据作业信息生成每个待查询数据的原始数据权重；设计时间损失函数，时间损失函数用于量化待查询数据的数据权重与保存时间之间的变化关系；基于时间损失函数，对原始数据权重进行调整得到待查询数据的最终数据权重，并根据最终数据权重生成缓存候选列表；当缓存资源不足时，根据缓存候选列表清理掉当前缓存中的低数据权重的数据，并在缓存中存储高数据权重的数据。
-
Patent Agency Ranking
公开(公告)号：CN116612378B
公开(公告)日：2024-07-05
申请号：CN202310578589.2
申请日：2023-05-22
Applicant: 河南大学
Abstract: 本发明公开一种基于SSD改进的不平衡数据及复杂背景下水下小目标检测方法，包括：对SSD的网络进行改进：使用VGG16作为前端骨干网络，将第Conv3_3处的输出作为第一层特征层，在Conv3_3之后嵌入多维像素注意力网络；在多维像素注意力网络之后使用膨胀率为r且具有ReLU激活的空洞卷积，依次生成剩余需要预测的多个特征层；将生成的多个特征层对应的特征图输入联合加权知识蒸馏与多尺度特征蒸馏模块；调整原始不平衡的水下图像数据集中待检测图片大小并输入至改进后SSD的网络；基于改进后SSD的网络对水下小目标进行检测。本发明大大提高了稀有类别的检测能力，减小了由于样本分布不平衡对模型检测能力的影响。
-
公开(公告)号：CN117093369A
公开(公告)日：2023-11-21
申请号：CN202311075682.8
申请日：2023-08-25
Applicant: 河南大学
Abstract: 本发明属于及分布式并行计算框架Spark内存优化技术领域，公开一种基于RDD重用度的Spark缓存优化方法和系统，该方法包括：对Spark作业的有向无环图进行分析，根据影响执行效率的因素构建RDD重用度模型；所述影响执行效率的因素包括RDD的引用数量、使用频率、最长血缘、分区数量和依赖恢复比；对影响执行效率的相关因素进行量化；根据RDD重用度模型对作业中每个RDD的重用度进行计算，并将重用度最大的RDD进行缓存；每个任务结束后，检测内存使用情况，若发生内存瓶颈，则对低使用频率和低引用数量的RDD进行清理。本发明有效提高了内存的利用率，降低了Spark的执行时间。
-
公开(公告)号：CN116737320A
公开(公告)日：2023-09-12
申请号：CN202310784865.0
申请日：2023-06-29
Applicant: 河南大学
Abstract: 本发明公开一种基于AHP方法的云数据中心资源平衡感知的虚拟机放置策略，包括：构造一个分层的模型；其中第一层为目标层，用于选择最合适的主机来承载被迁移的虚拟机；第二层为决策层，有三个决策标准：主机的功耗增加、主机的资源分配平衡率和主机的可用资源；第三层为被迁移的虚拟机；在构造的分层模型的基础上构造判断矩阵；所述判断矩阵为由上述三个决策标准组成的3×3矩阵；基于判断矩阵计算标准权重向量，并设置标准矩阵；基于标准权重向量和判断矩阵进行一致性检验，若一致性检验通过则基于标准权重向量和标准矩阵计算主机得分，并将虚拟机迁移至得分最高的主机。本发明在降低能耗的同时也降低了SLAV，保证了数据中心服务质量。
-
公开(公告)号：CN116612378A
公开(公告)日：2023-08-18
申请号：CN202310578589.2
申请日：2023-05-22
Applicant: 河南大学
Abstract: 本发明公开一种基于SSD改进的不平衡数据及复杂背景下水下小目标检测方法，包括：对SSD的网络进行改进：使用VGG16作为前端骨干网络，将第Conv3_3处的输出作为第一层特征层，在Conv3_3之后嵌入多维像素注意力网络；在多维像素注意力网络之后使用膨胀率为r且具有ReLU激活的空洞卷积，依次生成剩余需要预测的多个特征层；将生成的多个特征层对应的特征图输入联合加权知识蒸馏与多尺度特征蒸馏模块；调整原始不平衡的水下图像数据集中待检测图片大小并输入至改进后SSD的网络；基于改进后SSD的网络对水下小目标进行检测。本发明大大提高了稀有类别的检测能力，减小了由于样本分布不平衡对模型检测能力的影响。
-
公开(公告)号：CN115145841B
公开(公告)日：2023-05-12
申请号：CN202210843160.7
申请日：2022-07-18
Applicant: 河南大学
IPC: G06F12/0877
Abstract: 本发明提供一种应用于Spark计算平台中的降低内存争用的方法。该方法包括：步骤1：计算内存中所有持久化RDD的价值，并按照价值高低对所有RDD进行排序形成优先队列；步骤2：若监控内存状态获知内存达到瓶颈，则执行步骤3；步骤3：循环释放所述优先队列中价值较低的RDD；步骤4：在进行当前循环释放操作后，若判断获知存在空闲的处理器核，则继续执行步骤3，反之则执行步骤5；步骤5：计算将当前需要持久化的RDD分别持久化至内存中时的内存持久化加速效用和持久化至硬盘中时的硬盘持久化加速效用；步骤6：基于内存持久化加速效用和硬盘持久化加速效用，采用贪心算法求解当前程序中所有需要缓存的RDD的存储位置。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.014 seconds)
