-
公开(公告)号：CN119990337A
公开(公告)日：2025-05-13
申请号：CN202510466856.6
申请日：2025-04-15
Applicant: 之江实验室
IPC: G06N5/04 , G06N3/063 , G06N3/0464
Abstract: 本申请涉及一种模型推理加速方法、系统、计算机设备和可读存储介质。方法包括：获取待处理模型的模型文件；解析待处理模型文件，得到待处理模型的所有算子；若不存在物理加速卡，则将模型文件加载至CPU的内存空间，从用户态预设的虚拟算子库中确定与所有算子匹配的目标算子；将各算子映射至各自对应的目标算子，基于目标算子加速待处理模型推理。采用本方法能够提高资源利用率。
-
公开(公告)号：CN119474390B
公开(公告)日：2025-05-13
申请号：CN202510060342.0
申请日：2025-01-15
Applicant: 之江实验室
IPC: G06F16/353 , G06F40/216 , G06F40/284 , G06F40/30 , G06F18/2415 , G06N5/04
Abstract: 本申请涉及一种基于对齐策略的大模型文本分类方法和系统，该方法包括：基于待分类文本构建语言提示；基于预训练语言模型和语言提示，得到输出向量；根据输出向量，确定预训练语言模型所有候选词的概率分布矩阵；概率分布矩阵包括预测分类标签；基于预先构建的文本语义图和对齐增强后的概率分布矩阵进行标签传播，得到待分类文本的文本分类结果。通过本申请，基于待分类文本构建语言提示，将文本分类任务转换为自然语言提示中面向任务的文本补全问题，并且利用文本语义图进行标签传播，对预训练语言模型的预测文本分类结果进行对齐增强，能够在样本稀缺时提高模型分类的准确性。
-
公开(公告)号：CN119721236A
公开(公告)日：2025-03-28
申请号：CN202411614980.4
申请日：2024-11-13
Applicant: 之江实验室
IPC: G06N5/04 , G06N3/0442 , G06N3/045 , G06N3/0455 , G06N3/042 , G06N3/048
Abstract: 本发明公开了一种基于轻量门控机制的大模型推理优化方法和系统，旨在提升大规模预训练模型在推理任务中的效率，并显著减少计算资源消耗。该方法首先对预训练模型进行初始化，在推理过程中引入动态路由机制，结合轻量门控和阈值判断机制，有效筛选推理过程中的关键层输出。通过对每层的输出进行动态评估，利用门控LSTM单元生成门控输出值，并通过sigmoid函数激活生成层的重要性分数。如果该分数低于预设阈值，则跳过该层计算，以减少不必要的计算开销。此优化策略能够自适应地判断每层输出的重要性，在保证模型输出质量的前提下，减少冗余计算，提高推理速度。本发明适用于多种任务场景，包括自然语言处理、图像生成等，具有广泛的应用价值。
-
公开(公告)号：CN118277132A
公开(公告)日：2024-07-02
申请号：CN202410703257.7
申请日：2024-06-03
Applicant: 之江实验室
Abstract: 本申请涉及一种图形处理器远程调用的双线程池执行方法和系统，其中，图形处理器远程调用的双线程池执行方法包括：所述远程调用前端发起远程调用API接口的第一请求报文，并在所述第一请求报文的报文头中注入所述API接口的状态标识；所述远程调用后端接收所述第一请求报文，解析所述第一请求报文的报文头获得所述API接口的状态标识；所述任务分发器根据所述API接口的状态标识，将所述API接口对应的任务分发至所述有状态线程池或所述无状态线程池中执行，本申请最大程度的保证图形处理器远程调用在远程调用框架层面的时延性能，同时又为图形处理器业务提供线程隔离、状态保持的能力，提高了图形处理器远程调用后端执行任务的效率。
-
公开(公告)号：CN117592821B
公开(公告)日：2024-05-10
申请号：CN202410071397.7
申请日：2024-01-18
Applicant: 之江实验室
IPC: G06Q10/0637 , G06Q50/22 , G06F17/18
Abstract: 本发明公开了一种基于因子分析的公共算力平台体验设计评估系统和方法，包括：设定用户体验的多个评价维度及每个评价维度包含的评价指标；采集依据评价维度及评价指标对公共算力平台体验的评价打分样本，并构建打分矩阵；对打分矩阵进行因子分析，并基于因子分析结果确定每个评价维度的维度权重以及每个评价指标的指标权重；基于评价维度及其维度权重构建用户体验维度度量和基于评价指标及其指标权重构建用户体验指标度量；基于用户体验维度度量和用户体验指标度量进行体验设计评估，这样能够实现对公共算力平台体验设计的客观评估，且客观评估结果可用于指导公共算力平台的设计特征优化。
-
Patent Agency Ranking
公开(公告)号：CN117170879B
公开(公告)日：2024-03-12
申请号：CN202311437174.X
申请日：2023-11-01
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本申请涉及一种面向智能芯片的设备管理装置和方法，其中，该装置包括信息采集模块，用于获取设备信息；数据存储模块，分别与设备管理模块、用于存储设备信息、智能芯片加速卡资源调度信息和设置信息；设备设置模块，用于对设备的目标参数进行设置；资源监控模块，用于监控设备的运行情况和智能芯片加速卡资源的使用情况；设备管理模块，用于调度智能芯片加速卡资源。通过本申请，解决了传统的设备管理装置对于智能芯片加速卡资源的利用效率较低问题，提高了加速卡资源的利用效率。
-
公开(公告)号：CN117421129A
公开(公告)日：2024-01-19
申请号：CN202311722259.2
申请日：2023-12-14
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于异构存储集群的业务执行方法、装置及电子设备。所述方法包括：获取各异构存储设备对应的性能指标信息以及不同业务与各性能指标之间的映射关系；在接收到业务请求后，确定待执行业务对应的目标性能指标；根据性能指标信息，在各存储设备中选取出满足目标性能指标的各存储设备，作为候选设备；针对每个候选设备，确定该候选设备当前的可用容量和负载均衡权值；根据每个候选设备对应的可用容量和负载均衡权值，在各候选设备中确定出该待执行业务对应的目标存储设备，以根据每个待执行业务对应的目标存储设备执行业务，满足不同业务的应用程序和工作负载的多样性需求。
-
公开(公告)号：CN117081931B
公开(公告)日：2024-01-09
申请号：CN202311344093.5
申请日：2023-10-17
Applicant: 之江实验室
IPC: H04L41/0896 , H04L41/0894 , H04L67/1097
Abstract: 本说明书公开了一种异构分布式存储系统在线扩容方法及装置，涉及存储扩容技术领域，方法包括：首先将新增存储节点组织成一个单独的分布式存储集群，注册为存储子集群，然后基于容量分配规则和用户存储需求，控制模块生成预分配结果，接着根据预分配结果，在目标存储子集群分配用户命名空间，最后命名空间模块推送配置到接入网关，接入网关配置生效，根据用户命名空间将IO操作请求分发到对应的存储子集群。本发明打破了软硬件限制，通过接入网关统一对外提供存储服务，解决了对业务的入侵问题，实现了异构存储资源整合并提供统一的存储服务的目的。
-
公开(公告)号：CN116700933A
公开(公告)日：2023-09-05
申请号：CN202310966044.9
申请日：2023-08-02
Applicant: 之江实验室
Abstract: 本申请涉及一种面向异构算力联邦的多集群作业调度系统和方法，所述系统包括：事件感知模块、作业队列管理模块、资源拓扑生成模块和调度决策生成模块；所述资源拓扑生成模块，用于根据所述事件感知模块分配的目标事件生成资源拓扑数据；所述资源拓扑数据包括根据所述目标事件对应的节点信息拓扑生成的多个集群的集群信息；所述调度决策生成模块，用于根据从所述作业队列管理模块中获取的待调度的目标作业和从所述资源拓扑生成模块获取的资源拓扑数据，生成调度结果。本申请通过节点信息到多个集群的集群信息的拓扑，从而实现了多个集群的跨集群资源分配。
-
公开(公告)号：CN115237547B
公开(公告)日：2022-12-06
申请号：CN202211148626.8
申请日：2022-09-21
Applicant: 之江实验室
Abstract: 本发明提供一种非侵入式HPC计算集群的统一容器集群托管系统和方法，所述系统包括：自定义计算作业资源集、计算集群管理模块、计算集群执行模块以及一个或多个需要被纳管的HPC计算集群，所述的计算集群管理模块包括：控制器、配置器、工作负载承载器。当现有环境下存在两类或多类的容器集群管理系统和面向科学计算领域的集群管理和作业调度系统的复杂集群环境下，本专利提供了一种非侵入式方式构建基于容器集群管理系统的统一操作管理平面的系统和方法。
-
-
-
-
-
-
-
-
-
Search Results
53
records
(took 0.021 seconds)
