面向大规模图迭代计算的分段差值压缩与惰性解压方法

    公开(公告)号:CN113726342B

    公开(公告)日:2023-11-07

    申请号:CN202111046999.X

    申请日:2021-09-08

    Abstract: 本发明公开了一种面向大规模图迭代计算的分段差值压缩与惰性解压方法,涉及高频迭代计算中的大规模图数据压缩技术领域。方法包括基于聚簇分布特性的分段差值压缩过程和基于惰性解压机制的按需解压过程。基于图的出边具有聚簇分布这一特性将邻接表的出边序列按照聚簇进行分段,基于分段差值压缩,设计了按需解压的惰性解压技术,可灵活处理解压问题。对于特定顶点的消息发送只需要找到该分段对应的字典值以及对应的差值就可以完成解压缩过程,无需对边表进行完全解压;而在面对动态变化的图数据时,本方法可以做到直接对变化的顶点数据更新,不需要将整个图数据全部重新排序并压缩。

    面向分布式图迭代计算作业的日志管理系统、方法及介质

    公开(公告)号:CN113535528B

    公开(公告)日:2023-08-08

    申请号:CN202110728761.9

    申请日:2021-06-29

    Abstract: 本发明公开了面向分布式图迭代计算作业的日志管理系统、方法及介质,在分布式图迭代计算作业开始后,在故障发生后进行溯源,利用基于统一时间度量标准的日志增量变化分析溯源方法对故障溯源:持续监控各个节点的日志增量变化情况,以主控节点的时间为基准,判定各个节点日志停止更新的次序,进而给出候选的故障源节点;故障溯源后,程序进行调试中对日志分析进行优化,通过迁移并分布式执行检索命令,收集关键日志信息进行调试;其中,在分布式图迭代计算时,通过增量检索方法实时查看迭代步信息。通过本发明使用户在确定故障源头所在节点之后,能够快速跟踪分析程序运行细节,完成程序调试。

    基于机器学习提高海洋叶绿素a浓度预报准确度的方法

    公开(公告)号:CN114239422A

    公开(公告)日:2022-03-25

    申请号:CN202210164423.1

    申请日:2022-02-23

    Abstract: 本发明公开了一种基于机器学习提高海洋叶绿素a浓度预报准确度的方法,属于海洋观测技术领域。该方法包括:收集“环境要素”数据集和“遥感叶绿素a浓度”数据集并标准化处理;将“环境要素”数据集与“遥感叶绿素a浓度”数据集进行时空匹配;“环境要素”数据集作为输入,“遥感叶绿素a浓度”数据集作为输出;将“环境要素”数据集按照数据类型划分为不同子集;按照不同“环境要素”子集与不同机器学习算法的组合分别进行训练和测试,得到不同组合的预报评价指标;选取评价指标最优的“环境要素”子集和机器学习算法进行海洋叶绿素a浓度的预报。本发明能够有效提高海水叶绿素a浓度的数值预报准确性。

    基于机器学习提高海洋叶绿素a浓度预报准确度的方法

    公开(公告)号:CN114239422B

    公开(公告)日:2022-05-17

    申请号:CN202210164423.1

    申请日:2022-02-23

    Abstract: 本发明公开了一种基于机器学习提高海洋叶绿素a浓度预报准确度的方法,属于海洋观测技术领域。该方法包括:收集“环境要素”数据集和“遥感叶绿素a浓度”数据集并标准化处理;将“环境要素”数据集与“遥感叶绿素a浓度”数据集进行时空匹配;“环境要素”数据集作为输入,“遥感叶绿素a浓度”数据集作为输出;将“环境要素”数据集按照数据类型划分为不同子集;按照不同“环境要素”子集与不同机器学习算法的组合分别进行训练和测试,得到不同组合的预报评价指标;选取评价指标最优的“环境要素”子集和机器学习算法进行海洋叶绿素a浓度的预报。本发明能够有效提高海水叶绿素a浓度的数值预报准确性。

    面向大规模图迭代计算的分段差值压缩与惰性解压方法

    公开(公告)号:CN113726342A

    公开(公告)日:2021-11-30

    申请号:CN202111046999.X

    申请日:2021-09-08

    Abstract: 本发明公开了一种面向大规模图迭代计算的分段差值压缩与惰性解压方法,涉及高频迭代计算中的大规模图数据压缩技术领域。方法包括基于聚簇分布特性的分段差值压缩过程和基于惰性解压机制的按需解压过程。基于图的出边具有聚簇分布这一特性将邻接表的出边序列按照聚簇进行分段,基于分段差值压缩,设计了按需解压的惰性解压技术,可灵活处理解压问题。对于特定顶点的消息发送只需要找到该分段对应的字典值以及对应的差值就可以完成解压缩过程,无需对边表进行完全解压;而在面对动态变化的图数据时,本方法可以做到直接对变化的顶点数据更新,不需要将整个图数据全部重新排序并压缩。

    一种基于遥感数据的切变锋识别方法

    公开(公告)号:CN113516111A

    公开(公告)日:2021-10-19

    申请号:CN202111071221.4

    申请日:2021-09-14

    Abstract: 本发明提供了一种基于遥感数据的切变锋识别方法,该方法包括:首先用遥感数据反演得到海表悬浮体浓度分布的连续影像;根据A(前时刻)、B(后时刻)两个连续时刻的影像识别并计算主要水团色块的位移,确定切变锋范围;再计算B时刻海表悬浮体浓度梯度,得到最大梯度等值线分布,可能存在多条;最后根据识别的最大梯度等值线,和识别出的切变锋范围进行叠加,落入切变锋范围中的最大梯度等值线,即为切变锋锋带位置。经过实际验证,根据本发明提供的识别方法,能够有效且准确的识别切变锋。

    适用于浅水粘性海床的底边界层原位观测系统与其布设方法

    公开(公告)号:CN111121730A

    公开(公告)日:2020-05-08

    申请号:CN202010115369.2

    申请日:2020-02-25

    Abstract: 本发明提供了一种适用于浅水粘性海床的底边界层原位观测系统与其布设方法。本发明建立可简易自制的低成本、易操作的水力桩基系统,既可保证打桩深度,实现海底观测系统的防沉降和稳定性功能,又可在观测系统布设时根据需要进行指定数量和位置的打桩;采用不锈钢管自由拼装手段,搭建仪器布设区和无扰流观测区,实现各类仪器的集成,避免仪器架体对观测空间的扰流影响,仪器布设区可根据用户需求进行调整和搭配;在观测架支脚和底桩顶端之间采用脚盘进行系统固定,不受观测系统自身重量的限制,改进了沉降板的缺点。本发明各组件替换或维修方便,成本低廉,可广泛应用,有效解决底边界层原位观测在全层位、多参数、连续稳定和高成本等方面的问题。

    一种ERA5源数据的自动更新入库方法及系统

    公开(公告)号:CN118885496B

    公开(公告)日:2024-12-20

    申请号:CN202411355077.0

    申请日:2024-09-27

    Abstract: 本发明公开了一种ERA5源数据的自动更新入库方法及系统,属于数据处理技术领域,包括:配置运行环境与参数,获取下载数据的起止日期生成一个Era5下载时间序列,排除已存在的Era5数据日期得到提交时间序列;以多线程的方式提交下载任务,获取Era5原始数据文件;利用哈希函数对Era5原始数据文件进行校验,得到Era5第一数据;通过对Era5第一数据实施预处理,获取Era5第二数据;将获取的Era5第二数据更新至数据库文件,更新下载数据的起止日期;通过计算获取数据更新速率和数据完整性系数获取评估系数,将评估系数与标准评估值进行比对,实现对系统自动化程度进行评估。

    一种ERA5源数据的自动更新入库方法及系统

    公开(公告)号:CN118885496A

    公开(公告)日:2024-11-01

    申请号:CN202411355077.0

    申请日:2024-09-27

    Abstract: 本发明公开了一种ERA5源数据的自动更新入库方法及系统,属于数据处理技术领域,包括:配置运行环境与参数,获取下载数据的起止日期生成一个Era5下载时间序列,排除已存在的Era5数据日期得到提交时间序列;以多线程的方式提交下载任务,获取Era5原始数据文件;利用哈希函数对Era5原始数据文件进行校验,得到Era5第一数据;通过对Era5第一数据实施预处理,获取Era5第二数据;将获取的Era5第二数据更新至数据库文件,更新下载数据的起止日期;通过计算获取数据更新速率和数据完整性系数获取评估系数,将评估系数与标准评估值进行比对,实现对系统自动化程度进行评估。

    基于数值模拟和深度学习的叶绿素遥感数据重构方法

    公开(公告)号:CN116976230A

    公开(公告)日:2023-10-31

    申请号:CN202311235702.3

    申请日:2023-09-25

    Abstract: 本发明公开了一种基于数值模拟和深度学习的叶绿素遥感数据重构方法,属于海洋观测技术领域。本发明结合数值模拟数据的无缺失特性以及CNN深度学习算法对于空间信息的识别能力,能够有效提高卫星遥感近海逐日Chl‑a浓度数据的时空连续性,并能准确反映天气尺度过程引起的Chl‑a浓度变化。本发明基于能够描绘生物地球化学过程的数值模拟技术,通过深度学习建立数值模拟结果与卫星遥感Chl‑a浓度数据间的变换规律,进而重构逐日的Chl‑a浓度数据,在保证时空连续性的基础上,提高了重构数据的准确度。

Patent Agency Ranking