-
公开(公告)号：CN110471777B
公开(公告)日：2022-04-15
申请号：CN201910568205.2
申请日：2019-06-27
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种Python‑Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文，能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求；利用协程而不是线程来守护子进程，协程之间自主调度；能够将任务计算结果或状态异步返回以便实时响应用户的请求，满足了Web实时交互式使用的需求；利用了Spark任务间调度的特性，对于一些耗时较长的任务，给予用户是否终止该任务的权限，能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。
-
公开(公告)号：CN110276713A
公开(公告)日：2019-09-24
申请号：CN201910371530.X
申请日：2019-05-06
Applicant: 中国科学院计算机网络信息中心
IPC: G06T1/60 , G06F16/51 , G06F16/172 , G06F16/182 , G06F12/02
Abstract: 本发明公开了一种面向遥感影像数据的高效缓存方法及系统，其步骤为：1)各Data节点将收到的单个原始遥感影像数据文件从逻辑上分为多个固定大小的数据块，并将原始的遥感影像数据文件保存在存储系统中；各Data节点将申请的内存空间分割为多个固定大小的内存块并将其放到空闲队列中；2)当Data节点收到客户端的数据写入请求，Data节点根据该数据写入请求中的数据写入位置、待写入数据的长度计算出涉及到的数据块编号；然后根据所述数据块编号将待写入数据写入到所申请内存块中，最后将所有发生变化的内存块的元数据信息发送给Master节点进行更新。本发明能够高效读写大规模遥感影像数据。
-
公开(公告)号：CN104573405B
公开(公告)日：2017-05-17
申请号：CN201410806842.6
申请日：2014-12-22
Applicant: 中国科学院计算机网络信息中心
IPC: G06F19/14
Abstract: 本发明公开了一种基于大树构建子树的系统进化树重建方法。本方法为：1)对系统进化基础大树进行分割，并记录分割次数、分割权值以及每个叶子节点的关系链，然后存储到数据库中；2)根据物种子名录中的物种名称确定一物种子名录列表，从数据库中查找匹配的节点元素列表，并建立该子名录列表与该节点元素列表的映射关系；3)从数据库中检索该节点元素列表中每个节点元素的关系链和节点权值；4)将关系链两两之间进行比对，形成节点元素的分组关系；5)根据节点元素的节点权值和分组关系，计算每个节点元素在系统进化子树中对应的权值；生成并输出该物种子名录对应的系统进行子树。本方法能满足根据名录快速构建生物样方中生物进化关系等需要。
-
公开(公告)号：CN104573405A
公开(公告)日：2015-04-29
申请号：CN201410806842.6
申请日：2014-12-22
Applicant: 中国科学院计算机网络信息中心
IPC: G06F19/14
Abstract: 本发明公开了一种基于大树构建子树的系统进化树重建方法。本方法为：1)对系统进化基础大树进行分割，并记录分割次数、分割权值以及每个叶子节点的关系链，然后存储到数据库中；2)根据物种子名录中的物种名称确定一物种子名录列表，从数据库中查找匹配的节点元素列表，并建立该子名录列表与该节点元素列表的映射关系；3)从数据库中检索该节点元素列表中每个节点元素的关系链和节点权值；4)将关系链两两之间进行比对，形成节点元素的分组关系；5)根据节点元素的节点权值和分组关系，计算每个节点元素在系统进化子树中对应的权值；生成并输出该物种子名录对应的系统进行子树。本方法能满足根据名录快速构建生物样方中生物进化关系等需要。
-
公开(公告)号：CN109117267B
公开(公告)日：2021-09-14
申请号：CN201810771386.4
申请日：2018-07-13
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/50
Abstract: 本发明公开一种科学数据端云分析服务方法。本方法为：科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；主机节点池包括一个管理节点和若干资源节点，容器资源池包括若干以分析算法库为区分的容器实例池；容器实例池由分布在不同资源节点上的容器实例池片组成，容器实例池片由多个以相同分析算法库镜像产生的容器实例组成，各容器实例内部均有一个科学数据端服务；管理组件包括缓存器、接入器、管理器和维护器；当在用资源达到阈值，管理节点通过接口启动资源节点的注册，创建容器实例池片，容器实例资源入池；接入器根据收到的用户服务请求，选择对应容器实例。
-
Patent Agency Ranking
公开(公告)号：CN112395315A
公开(公告)日：2021-02-23
申请号：CN202011146272.4
申请日：2020-10-23
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明提供一种日志文件的统计与异常探测方法及电子装置，包括：将日志文件转化为事件流；解析不同事件流中的事件，对得到的结构化日志数据，进行前期聚合或后期聚合得到日志统计结果；对连续时间窗口内的结构化日志数据进行聚合，得到以请求量为元素的数组A与包含结构化日志数据时间戳及IP元信息的数组B；通过机器学习方法对数组A进行分析；利用数组A与数组B的关联关系，得到异常发生的时间窗口和IP元信息；对异常发生的时间窗口内的IP请求进行响应聚合，依据聚合后响应分布信息，得到异常发生时间和请求IP。本发明能将异构日志数据处理为同构结构化数据，以便统计分析需要；可依据日志进行业务网站异常流量探测，发现爬虫或恶意攻击。
-
公开(公告)号：CN118351941A
公开(公告)日：2024-07-16
申请号：CN202410376805.X
申请日：2024-03-29
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种针对单细胞RNA测序数据的关键基因定位方法及装置，涉及机器学习和生物基因领域，本发明为每个基因特征分配一个智能体，将选择关键基因的先验知识存入智能体的内存中；令智能体根据基于先验知识进行环境知识探索，计算对应的当前状态、动作、奖励和下一状态并作为探索的环境知识存入智能体的内存中；对智能体进行行为策略提升，按照贝尔曼方程更新行为策略；使用智能体基于更新后的行为策略，对单细胞RNA测序数据集中的关键基因进行定位。本发明通过多智能体强化学习获取更佳的行为策略，提高对关键基因定位的质量，以及提升关键基因在下游任务上的表现，更好地揭示细胞群体中的异质性。
-
公开(公告)号：CN111026707B
公开(公告)日：2023-01-17
申请号：CN201911070575.X
申请日：2019-11-05
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/13 , G06F16/14 , G06F16/172
Abstract: 本发明公开了一种小文件对象的存取方法和装置，其步骤为：1)将待存储的小文件对象以数据流的方式存储到数据对象存储库中，并将所述小文件对象的小文件对象标识信息写入元数据库和数据对象存储库的索引文件中；2)当客户端请求读取所述小文件对象时，根据所请求小文件对象的元数据信息查询元数据库获取所请求小文件对象的文件对象位置信息和对应的关联数据获取规则；然后根据关联数据获取规则从元数据库获取与当前所请求小文件对象的关联小文件对象位置信息；然后根据所请求小文件对象的小文件对象位置信息和关联小文件对象位置信息从数据对象存储库中获取对应数据返回给客户端并存储到缓存数据库中。
-
公开(公告)号：CN112418596B
公开(公告)日：2022-10-11
申请号：CN202011084995.6
申请日：2020-10-12
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种生物多样性保护规划的方法，其步骤包括：1)根据设定的生物多样性保护规划条件确定规划范围、规划粒度；其中每一规划范围包括一个或多个规划粒度，根据所得各规划粒度建立一规划粒度列表并根据每一规划粒度的范围确定对应规划粒度内的待保护物种；2)根据每一所述规划粒度内的物种构建一系统发育树，得到多个系统发育树；3)计算每一所述系统发育树的系统发育多样性指数，生成规划范围内多样性指数键值对；4)根据各多样性指数键值计算每一规划范围的物种多样性分布，根据物种多样性分布确定优先保护区域。本发明能够快速计算小粒度单位的系统发育多样性指数分布并确定合理的规划结果。
-
公开(公告)号：CN107315767B
公开(公告)日：2020-08-04
申请号：CN201710348651.3
申请日：2017-05-17
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种通量数据的汇聚重建方法。本方法为：1)在每个远端通量数据观测站点对实时通量数据进行采集并存储；2)各远端通量数据观测站点对采集的通量数据进行元数据的抽取生成元数据文件，并将其传输到中心站点；3)中心站点检查收到的元数据文件是否已有对应的数据库表结构，如果无，则生成该元数据文件的数据库表结构；如有，则根据该元数据文件中的通量数据文件大小判断是否对该元数据文件描述的通量数据文件进行续传；如果续传，则进行4)，否则，通知该元数据文件对应的远端通量数据观测站点进行文件备份并开启新文件的汇聚过程；4)中心站点接收该元数据文件的远端通量数据观测站点采集的通量数据文件，并进行数据分片存储。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.027 seconds)
