面向边缘服务器的高效任务调度方法、系统及电子设备

    公开(公告)号:CN115437764A

    公开(公告)日:2022-12-06

    申请号:CN202210990277.8

    申请日:2022-08-18

    Inventor: 林伟伟 沈王博

    Abstract: 本发明公开了一种面向边缘服务器的高效任务调度方法、系统及电子设备,方法包括:获取当前任务队列中每个计算任务的属性特征信息Job以及当前边缘服务器的环境信息Cluster;将任务队列中的每个任务的属性特征信息Job进行统计得出的值x1与服务器环境信息的值x2作为预先设立的深度多核学习模型M的输入值X,将输入值X输入到深度多核学习模型M进行分类,M的输出为调度模型库中最适合当前环境下的最优任务调度模型Bestmodel;将当前任务队列的调度任务属性特征信息Job输入到最优任务调度模型Bestmodel,完成当前计算任务的调度工作。本发明在边缘服务器资源有限的条件下,无需特殊AI芯片的支持就能快速准确的完成任务调度和资源分配,提高资源的利用率。

    一种基于贡献量的联邦学习客户机选择方法、系统及介质

    公开(公告)号:CN113378474B

    公开(公告)日:2022-09-20

    申请号:CN202110717168.4

    申请日:2021-06-28

    Inventor: 林伟伟 许银海

    Abstract: 本发明公开了一种基于贡献量的联邦学习客户机选择方法、系统及介质。该方法包括:初始化选择权重;计算客户机选择概率;选择客户机集合进行本地训练;计算客户机贡献量;无偏估计并更新选择权重;迭代训练。本发明定义客户机对全局模型准确率的提高量作为客户机的贡献量,基于贡献量更新客户机的选择权重,为性能优异的客户机和本地数据集优质的客户机分配高选择概率,降低性能差和数据集恶劣的客户机选择概率,提高最终聚合模型收敛速度和效果。另外,本发明可通过调节客户机贡献量的无偏估计的调节系数θ,满足不同场景需求,如追求全局模型准确率、模型收敛速度或者两者的有效平衡,具有很强的适应性。

    面向云边计算的深度学习分布式编译器及构造方法

    公开(公告)号:CN113127203B

    公开(公告)日:2022-06-14

    申请号:CN202110449381.1

    申请日:2021-04-25

    Inventor: 林伟伟 吴伟正

    Abstract: 本发明公开了一种面向云边计算的深度学习分布式编译器及构造方法,编译器包括模型编译框架和模型调度框架;模型编译框架通过容器化深度学习编译器和Kubernetes容器编排系统,完成分布式编译多模型任务的工作;模型编译框架能快速构建深度学习分布式编译器,充分利用服务器集群的优势来解决突发的大量编译需求,克服了深度学习编译器无法分布式编译的不足;模型调度框架对模型编译过程进行资源分析,获取模型运行最高效的资源组合,并设计了Distributed‑DRF调度算法来指导调度中间件来进行调度决策,提高了资源分配的公平性和模型调度的准确性。

    一种轻量级的金融数据查询、量化策略开发和回测方法及装置

    公开(公告)号:CN114564499A

    公开(公告)日:2022-05-31

    申请号:CN202210121976.9

    申请日:2022-02-09

    Abstract: 本发明公开了一种轻量级的金融数据查询、量化策略开发和回测方法及装置,方法包括:通过多网站爬虫且交叉验证的方法下载各类型金融数据;对数据进行分类、分标、去重、降位数处理,序列化成二进制文件,压缩存储成本地轻量化文件;针对轻量化文件设计数据查询接口,并用多线程封装;基于上述数据查询接口实现高速仿真回测和实盘交易平台,集成回测、自定义模型预测和实盘文件生成功能。本发明通过将金融数据高效处理后压缩存储在本地,仅占用小容量空间实现高速、无数量限制的数据查询,并基于此实现高速的仿真回测功能,大大提高量化投资实验的速度,并且实现实盘文件生成功能,可将实验策略直接对接到实盘交易平台。

    基于一致性聚类的基准子集选取方法、系统和存储介质

    公开(公告)号:CN113077011A

    公开(公告)日:2021-07-06

    申请号:CN202110450841.2

    申请日:2021-04-26

    Abstract: 本发明公开了一种基于一致性聚类的基准子集选取方法、系统和存储介质,方法包括:运行n个基准项,采集基准项运行时的m个性能指标,并对基准集合向量Vn×m进行降维处理得到Vn×f;对于每个[Kmin,Kmax]范围内的聚类个数K,利用一致性聚类算法对Vn×f进行处理,得到对应的一致性矩阵从而得到一致性矩阵集合根据一致性矩阵集台绘制累积分布函数面积变化曲线,利用肘部法则得到最佳K值即Kbest;将基准项集合分为Kbest个簇;利用簇内最佳子项选取策略分别选取每个簇中的最佳子项,组合成最佳子集。本发明的基准子集选取方法,在层次聚类的基础上,实现了自动化选定最佳K值和最佳子集,其次通过重采样,使得聚类结果的稳定性相对更好。

    基于生成对抗网络的云负载时序数据生成方法、系统及介质

    公开(公告)号:CN112835709A

    公开(公告)日:2021-05-25

    申请号:CN202011495736.2

    申请日:2020-12-17

    Inventor: 林伟伟 姚坤

    Abstract: 本发明公开了一种基于生成对抗网络的云负载时序数据生成方法、系统及介质,包括下述步骤:获取真实云环境下的负载时序数据;对获取的负载数据进行预处理;根据数据的复杂度,构建生成对抗网络,所述对抗生成网络包括生成器和判别器两部分,使用预处理后的负载时序数据,对构建的生成对抗网络进行训练,取生成对抗网络中的生成网络,从高斯分布中随机采样作为输入,生成仿真数据,作为真实数据的替代或补充。通过本发明提出的生成对抗网络,可以稳定,高效地完成训练,拟合真实数据的分布。通过从拟合的近似分布中采样,可以生成用于替代或补充真实数据,用于实际算法研究的仿真数据,从而推动云计算中心能耗,调度,资源优化算法的发展。

    基于多语言的基准实现方法、系统及存储介质

    公开(公告)号:CN112783746A

    公开(公告)日:2021-05-11

    申请号:CN202110149702.6

    申请日:2021-02-03

    Inventor: 林伟伟 游德光

    Abstract: 本发明公开了一种基于多语言的基准实现方法、系统及存储介质,方法包括下述步骤:根据现有市场报告数据对已选定的基准测试子项进行场景分析及分类;为不同场景下的基准测试子项选择最合适的实现语言;对于与主控程序语言相同的基准测试子项,则直接通过方法调用实现;而对于不同语言实现的基准测试子项,则通过脚本调用等方式实现。本发明的设计方法,能够为当前市场中基准测试工具提供设计思路,解决负载实现方式单一、不合理的问题,针对不同的实际应用采用不同的主流实现方式,采用多种实现语言从而提供更加精准更具有参考价值的基准测试结果。

    一种基于深度双Q学习的移动边缘计算系统能源分配方法

    公开(公告)号:CN112101729A

    公开(公告)日:2020-12-18

    申请号:CN202010829544.4

    申请日:2020-08-18

    Abstract: 本发明公开了一种基于深度双Q学习的移动边缘计算系统能源分配方法,包括以下步骤:将移动边缘计算系统的能源分配过程转化为马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s、系统动作a、动作值函数Q(s,a)三个要素;通过基于深度双Q学习的能源分配算法,预测动作值函数的精确值,选择最大动作值函数所对应的动作,得到最优能源分配策略,完成移动边缘计算系统的能源分配。本发明将深度双Q学习(DDQN)应用于移动边缘计算系统的能源分配,通过深度双Q学习(DDQN)算法求解最优能源分配,实现边缘计算系统服务器的长期可持续计算的效益最大化。

    一种面向大数据平台的海量关系数据高效并行迁移方法

    公开(公告)号:CN108334596B

    公开(公告)日:2020-08-18

    申请号:CN201810095569.9

    申请日:2018-01-31

    Inventor: 王博 刘波 林伟伟

    Abstract: 本发明涉及一种面向大数据平台的海量关系数据高效并行迁移方法,包括以下步骤:输入迁移表名、划分列、并行度;迁移任务决策器从RDBMS中获取迁移表的元数据;根据迁移表的元数据对迁移表进行分区划分;计算划分的各分区的数据密度;判断各分区划分是否均匀;若分区划分均匀则将划分结果发送至Hadoop;若分区划分不均匀,则迁移任务决策器对分区进行重划分,并将新划分结果发送至Hadoop;Hadoop根据接收信息创建、执行数据迁移作业,实现数据从RDBMS高效并行迁移至HDFS、HBase。本发明提供的一种面向大数据平台的海量关系数据高效并行迁移方法设计科学合理,既能保证数据的高效抽取,又避免了数据抽取过程中的数据倾斜问题;还解决了数据迁移至HDFS后数据分布不均的问题。

    基于服务发现和容器技术的大数据平台弹性伸缩方法

    公开(公告)号:CN107948249B

    公开(公告)日:2019-12-10

    申请号:CN201711062730.4

    申请日:2017-11-02

    Abstract: 本发明公开了一种基于服务发现和容器技术的大数据平台弹性伸缩方法,包括以下步骤:(1)使用容器技术组件化大数据平台;(2)启动大数据集群,注册集群元数据信息;(3)向服务代理汇报心跳数据并更新相关信息;(4)代理服务周期向服务代理读取大数据集群管理信息,判断是否存在节点失效或者需求变更情况,如果存在,则执行第五步骤;否则,执行第六步骤;(5)若存在节点失效情况,则尝试恢复失效的节点容器;若存在需求变更情况,则根据需求变更元数据,为集群添加或则删除节点容器;(6)重复执行以上第三至第五步骤,直至集群服务终止运行。本发明能够感知大数据平台内部状态从而进行有效弹性伸缩和提高集群资源使用率。

Patent Agency Ranking