-
公开(公告)号：CN113190511B
公开(公告)日：2022-09-13
申请号：CN202110430909.0
申请日：2021-04-21
Applicant: 中国海洋大学 , 青岛海洋科学与技术国家实验室发展中心
IPC: G06F16/16
Abstract: 本申请公开了一种基于众核集群的大数据并发调度及加速处理方法。所述基于众核集群的大数据并发调度及加速处理方法包括：获取海洋数据文件；拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。
-
公开(公告)号：CN113190528A
公开(公告)日：2021-07-30
申请号：CN202110440139.8
申请日：2021-04-21
Applicant: 中国海洋大学 , 青岛海洋科学与技术国家实验室发展中心
IPC: G06F16/21 , G06F16/22 , G06F16/2455 , G06F16/27
Abstract: 本申请公开了一种并行分布式大数据架构构建方法及系统。所述并行分布式大数据架构构建方法包括生产者端的搭建及数据连接器端的搭建，所述生产者端的搭建方法包括：加载指定的序列化策略；完成生产属性配置；对预备发送数据进行avro序列化；对avro序列化后的数据进行内存填充，并形成kafka消息，发送至kafka消息队列中；数据连接器端的搭建方法包括：读取Dataframe，并完成预置的组态配置；加载指定序列化策略并执行反序列化；使用spark微批处理形式进行数据库或数据表的写入。本申请解决了国产超级计算机不能持久化存储海量数据的问题。
-
Patent Agency Ranking
公开(公告)号：CN115409166A
公开(公告)日：2022-11-29
申请号：CN202211095125.8
申请日：2022-09-05
Applicant: 青岛海洋科学与技术国家实验室发展中心
Abstract: 本发明公开了一种基于国产SW处理器的飞桨深度学习框架移植方法，上述方法包括：搭建编译环境，在编译环境中根据SW处理器的编译系统修改深度学习框架及其第三方依赖库的编译策略；基于SW处理器修改深度学习框架的静态源代码与动态源代码；对深度学习框架与第三方依赖库分别进行编译，生成so库，并根据SW处理器的可执行文件结构对so库执行页对齐，进而完成深度学习框架在SW处理器上的移植。本方法可以将飞桨深度学习框架移植到基于国产SW处理器的神威超算机器，可满足更多的应用场景需求，并且代码开源，有完全自主知识产权，可持续优化和改进。
-
公开(公告)号：CN115774605A
公开(公告)日：2023-03-10
申请号：CN202211699602.1
申请日：2022-12-28
Applicant: 青岛海洋科学与技术国家实验室发展中心 , 中国海洋大学
IPC: G06F9/455 , G06N3/0464
Abstract: 本申请公开了一种Kubernetes的预测式弹性伸缩方法及系统。所述Kubernetes的预测式弹性伸缩方法包括：获取经过训练的EEMD‑CNN‑BIGRU组合预测模型；获取当前时刻之前的预设时间内的负载量信息；将所述负载量信息输入至所述EEMD‑CNN‑BIGRU组合预测模型，从而获取下一个滑动窗口的HTTP请求量；根据下一个滑动窗口的HTTP请求量计算下一个滑动窗口的期望的Pod副本数量；根据期望的Pod副本数量对当前应用的Pod副本数量进行调整。本申请的Kubernetes的预测式弹性伸缩方法相对于现有技术，提出了一种EEMD‑CNN‑BIGRU组合预测模型，所述模型包括:使用EEMD分解超文本传输数据，获得的IMF分量作为训练集，输入到卷积神经网络获取潜藏特征被馈送到BiGRU进行双向学习。使Kubernetes集群中的应用有了负载预测能力，改善了HPA应对突发流量时的滞后性。
-
公开(公告)号：CN113190528B
公开(公告)日：2022-12-06
申请号：CN202110440139.8
申请日：2021-04-21
Applicant: 中国海洋大学 , 青岛海洋科学与技术国家实验室发展中心
IPC: G06F16/21 , G06F16/22 , G06F16/2455 , G06F16/27
Abstract: 本申请公开了一种并行分布式大数据架构构建方法及系统。所述并行分布式大数据架构构建方法包括生产者端的搭建及数据连接器端的搭建，所述生产者端的搭建方法包括：加载指定的序列化策略；完成生产属性配置；对预备发送数据进行avro序列化；对avro序列化后的数据进行内存填充，并形成kafka消息，发送至kafka消息队列中；数据连接器端的搭建方法包括：读取Dataframe，并完成预置的组态配置；加载指定序列化策略并执行反序列化；使用spark微批处理形式进行数据库或数据表的写入。本申请解决了国产超级计算机不能持久化存储海量数据的问题。
-
公开(公告)号：CN113190511A
公开(公告)日：2021-07-30
申请号：CN202110430909.0
申请日：2021-04-21
Applicant: 中国海洋大学 , 青岛海洋科学与技术国家实验室发展中心
IPC: G06F16/16
Abstract: 本申请公开了一种基于众核集群的大数据并发调度及加速处理方法。所述基于众核集群的大数据并发调度及加速处理方法包括：获取海洋数据文件；拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。
-
公开(公告)号：CN115880544A
公开(公告)日：2023-03-31
申请号：CN202211604754.9
申请日：2022-12-13
Applicant: 青岛海洋科学与技术国家实验室发展中心 , 中国海洋大学
IPC: G06V10/774 , G06V10/764 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/08 , G06F9/54
Abstract: 本申请公开了一种基于Kafka消息队列的图像分类模型增量训练方法及系统。所述基于Kafka消息队列的图像分类模型增量训练方法包括：通过Kafka消息队列收集增量数据；获取已经经过训练的模型；通过增量数据对已经经过训练的模型进行增量训练。本申请针对增量学习算法脱离生产环境的问题，借助消息队列系统提供了一种图像分类模型增量训练的系统和方法，将增量学习方案与流处理平台相结合，并可以有效的简化增量模型训练和部署的过程。
-
-
-
-
-
-
Search Results
7
records
(took 0.031 seconds)
